岗位职责：
1. 负责采集公开数据，一些相关信息的提取，优化爬虫策略，进行多平台信息的抓取和分析；
2. 设计爬虫策略和防屏蔽规则，完成对复杂网站的信息抓取；
3. 参与业务功能需求探讨，数据分析处理落地，并提供后端接口；
4.优先考虑会逆向手段来突破一些反爬措施，包括但不限于cookie信息认证，参数加密，响应数据加密等等。
任职资格：
1. 熟悉 web抓取原理及技术，熟悉常用的爬虫网络框架及重要组件；
2. 熟悉 Python编程语言，熟练掌握 MySQL、Redis、MongoDB等数据库的使用；
3. 了解常见的反爬机制，能够破解常见的反爬机制，有对常见的验证码的逆向经验（极验，瑞数，加速乐）；
4. 了解抓包调试技巧，突破抓包验证；
5. 具备优秀的逻辑思维能力，对解决挑战性问题充满热情，善于分析问题解决问题。
要求，学信网可查的计算机专业的本科，经验2年以上。