职位详情

【职位描述】 1、负责爬虫系统的架构设计与研发工作； 2、负责指定网页或APP的定向爬取以及内容的抽取、去重等分析工作；【任职要求】 1、本科及以上学历，1年以上爬虫开发经验； 2、熟悉常用的爬虫网络框架，了解框架工作原理并具备修改和调试能力； 3、熟悉python/javascript/html/xpath等相关技术，熟练使用Linux开发环境和常用命令； 4、有深入研究过scrapy或UIautomator2等爬虫相关开源项目源码的加分； 5、具备大规模数据处理和分布式计算经验，或有处理过亿级图片或视频爬取的加分； 6、具备高并发和高可用性系统开发经验，能够设计和实现可扩展的爬虫架构的加分； 7、App逆向经验加分