岗位职责：
1、负责各类数据的爬取、接口调用接入，清洗、转换、融合入库以及数据处理性能调优等工作；
2、根据业务、产品和项目相关需求，负责数据验证、数据管理、数据服务接口、数据分析等功能的开发维护工作；
3、根据产品和项目需求，负责Python Web开发维护工作；
4、负责多平台信息爬取和页面内容的提取分析，负责破解各类反爬机制；
5、负责网页的数据抓取和爬取链路优化，提升抓取能力；
岗位要求：
1、了解web端相关技术，有web端开发经验者和主流风控分析等技能优先；
2、熟练掌握至少一种开源爬虫框架（scrapy、appium、selenium等）；
3、熟练常用数据库和中间件，如：Mysql/Redis/MongoDB/MQ等；
4、了解动态网页抓取、浏览器模拟抓取、APP抓取等技术，熟悉使用fiddler或其他抓包工具；
5、具备良好的编程习惯和逻辑思维能力；