工作内容:
根据工作安排负责相关数据的自动化采集抽取及清洗工作;
参与分布式爬虫架构设计及研发;
负责分析数据需求,快速确定数据采集方案按时交付结果;
维护数据增量,保证数据质量。
任职要求:
熟悉python,scrapy等主流爬虫框架;
熟悉js逆向,熟悉html,css;
理解分布式;
常用数据库mongodb,redis等。