岗位职责:
1、负责各类站点数据爬取、接口调用接入，清洗、转换、融合入库以及数据处理性能调优等工作
2、负责爬虫系统的设计、研发与维护，实时监控爬虫的进度
岗位要求:
1、计算机、数学或统计等相关专业本科及以上学历，3年以上相关工作经验
2、熟悉linux平台，熟练掌握Python/Java、SQL、ETL数据处理开发工作
4、熟练掌握数据处理性能调优，数据清洗、转换、整合等
数据管理和维护工作
5、熟练掌握爬虫采集技术及架构设计，熟悉HTTP协议
6、具备大数据处理开发(Hadoop/Hive，Spark等)相关工作经验者优先考虑
7、具备良好的编程习惯和逻辑思维能力
8、善于学习和团队协作，能积极主动地参与公司产品研发等相关工作