职位详情

岗位职责： 1. 负责采集公开数据，一些相关信息的提取，优化爬虫策略，进行多平台信息的抓取和分析； 2. 设计爬虫策略和防屏蔽规则，完成对复杂网站的信息抓取； 3. 参与业务功能需求探讨，数据分析处理落地，并提供后端接口； 4.优先考虑会逆向手段来突破一些反爬措施，包括但不限于cookie信息认证，参数加密，响应数据加密等等。任职资格： 1. 熟悉 web抓取原理及技术，熟悉常用的爬虫网络框架及重要组件； 2. 熟悉 Python编程语言，熟练掌握 MySQL、Redis、MongoDB等数据库的使用； 3. 了解常见的反爬机制，能够破解常见的反爬机制，有对常见的验证码的逆向经验（极验，瑞数，加速乐）； 4. 了解抓包调试技巧，突破抓包验证； 5. 具备优秀的逻辑思维能力，对解决挑战性问题充满热情，善于分析问题解决问题。要求，学信网可查的计算机专业的本科，经验2年以上。