岗位职责：
1、负责公司爬虫系统的设计、研发与维护；
2、设计爬虫策略与算法，提升抓取效果；
3、持续优化系统，提高系统的稳定性及性能。
4、负责网络数据抓取规划、定期爬取指定网站的数据。
5、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量。
岗位要求：
1、全日制大专及以上学历，3-5年相关经验；
2、深入了解Http协议和web登录认证机制；
3、有扎实的计算机基础、熟悉常用数据结构，具有实际爬虫开发经验；
4、熟练掌握Python语言，良好的编码风格及编码能力；熟悉常见第三方sdk，如：破解验证码、图片生成码、ip代理等；
5、熟悉高并发、高性能的分布式系统的设计及应用，熟悉常用数据存储，各种数据处理技术优先。
注：需在深面试