1、负责多平台信息爬取和页面内容的提取分析，负责破解各类反爬机制；
2、负责网页的数据抓取和爬取链路优化，包括逆向分析、脱壳、加密参数破解、抓取攻防等，提升抓取能力；
3、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、页面跳转等难点，提升网页抓取的效率和质量；
4、负责构建大规模分布式爬虫系统，懂得使用代理池以及隧道代理；
5、负责爬虫团队工程化体系建设，提升研发效率及质量。任职要求
1、熟悉掌握至少一种开源爬虫框架，熟悉（Scrapy、Appium、Selenium）等自动化工具；
2、精通动态网页抓取、浏览器模拟抓取、APP抓取等技术，熟练使用Charles，Fiddler或其他抓包工具。；
3、具有js逆向，app逆向相关经验。熟悉js hook原理，熟悉各种反爬风控常见手段；
4、了解微信通讯机制，知晓PB协议、mmtls、06登录、rqt算法、aes加密和rsa加密；
5、懂得Rust或C＋＋，有高性能分布式爬虫部署经验者优先。
希望申请加入伙伴有以下特点：
1、热爱深入技术研发创新追求开发卓越产品
2、在面对各种不确定冲突时选择同频向前
3、有志通过编程技术优化社会服务模式、提升工作生活体验
4、有志联结价值创业者为实现技术产品化-市场化-生态化