岗位职责:
1、负责设计和开发分布式网络爬虫系统,参与数据爬取平台相关工具平台的架构设计等工作;
2、负责爬虫技术优化升级,各平台反爬对抗,内部安全演练等攻坚;
3、负责进行前沿技术研究,难点攻关,为团队做逆向工程方面做技术储备;
4、编写清晰的文档,记录逆向工程的过程、技巧和建议等;
5、与产品团队和大数据部门紧密合作,确保数据的准确性和及时更新
任职要求:
1、统招本科及以上学历,计算机相关专业,扎实的数据结构、算法基础和编程能力,至少5年以上爬虫开发经验;
2、熟悉至少一种爬虫框架例如Scrapy、Feapder等且阅读过其源码,有自研爬虫框架经验者优先;
3、熟练掌握各类主流RPA技术,熟悉各种设备指纹及风控手段;
4、精通常见的加解密算法及其原理,能通过Hook等快速定位到加密;
5、加分项:JS防护、逆向、混淆、脱壳、原型链、分布式、数据分析、数据挖掘。