岗位职责：
1、负责爬虫系统的设计和开发，数据采集、解析处理、入库存储等工作；
2、技术难题攻关，包括反反爬、压力控制、各种策略和算法优化，提升数据采集质量；
3、积极响应业务需求，快速制定落地方案，定向爬取内容。
任职要求：
1、2年或以上实际爬虫开发、内容提取工作经验；
2、精通爬虫工作原理，熟悉常见的反爬虫技术；
3、熟练掌握至少一种开发语言，如Python、Java；
4、熟练掌握至少一种开源爬虫框架，如scrapy；
5、熟悉正则表达式、XPath 等常见的数据抽取技术；
6、熟悉 HTTP、TCP/IP 等网络通信协议；
7、善于主动学习，责任心强，良好的沟通表达能力。