岗位职责：
1、负责分布式网络爬虫系统的架构设计与开发；
2、攻破各种反爬策略，快速解决各类技术疑难问题，建设反爬对抗组件库；
3、编写抓取互联网爬虫代码，负责数据采集，参与需求分析和梳理，爬虫采集策略制定和实现；
4、研究各种网页、app、小程序端接口，提高网页抓取效率和质量；
5、攻克爬虫难题。
6、有高通量爬虫系统架构设计经验者优先