1、 熟悉Linux，熟练使用Python 开发; 具有较为扎实的代码基本功
2、 熟悉分布式、RPC、爬虫、消息队列、scrapy，WebMagic、selenium、phantomJS等相关技术。
3、 熟练掌握正则表达式、xPath、json数据传输、HTML、CSS、js等网页信息抽取技术。
4、 熟悉常规反爬虫策略和规避方法，破解主流网站和APP的反爬机制，能够独立承担爬虫运维工作。
5、 熟悉Mysql、ES等。
6、 具备反爬虫开发经验者优先
7、 有自动化测试能力和经验的优先
验证码绕过、自动化操作、模拟登录至少做过其中一个