岗位职责：
1、 负责解决爬虫开发过程中的技术问题；
2、 负责解决爬虫对各种页面/框架的覆盖问题；
3、 提升爬虫爬取效率；
4、 负责静态和动态爬取能力的提升；
任职要求
1、 常规反爬虫策略和规避方法（如：验证码、IP池调度、cookie池调度，js加密等）
2、 精通⽹网⻚页抓取原理理及技术，精通正则表达式，熟悉html/dom/xpath，熟练从结构化和⾮非结构化的数据中获取信息；
3、 精通常用的Python爬虫框架中的一种或多种，熟悉Scrapy、Pyspider框架优先;有开发爬⾍虫框架经验优先；
4、 精通⼀种语言，python、golang等
5、 熟悉http(s)协议，熟练掌握Fiddler、charles、Http debugger等抓捕工具；
6、 责任心较强，做事细致耐心，具有良好的团队合作意识；
7、 热爱技术，喜欢钻研，能独立解决分析和解决问题；
8、 具备优秀的逻辑思维能力，对解决挑战性问题充满热情，善于分析问题/解决问题