【职位描述】
1、负责爬虫系统的架构设计与研发工作；
2、负责指定网页或APP的定向爬取以及内容的抽取、去重等分析工作；
【任职要求】
1、本科及以上学历，1年以上爬虫开发经验；
2、熟悉常用的爬虫网络框架，了解框架工作原理并具备修改和调试能力；
3、熟悉python/javascript/html/xpath等相关技术，熟练使用Linux开发环境和常用命令；
4、有深入研究过scrapy或UIautomator2等爬虫相关开源项目源码的加分；
5、具备大规模数据处理和分布式计算经验，或有处理过亿级图片或视频爬取的加分；
6、具备高并发和高可用性系统开发经验，能够设计和实现可扩展的爬虫架构的加分；
7、App逆向经验加分