爬虫工程师
职位描述:
1.负责分布式爬虫系统的建设,优化。包括数据采集,任务调度,数据解析和存储全栈流程
2.维护和监控现有爬虫系统,及时适配目标网站的改版,确保数据采集的及时性和准确性
3.负责攻克技术难关,提升采集系统的性能,降低采集成本
岗位要求:
1.熟悉主流采集框架和工具,如scrapy,selenium,puppeteer等
2.熟悉python/Java 其中一种,具备扎实的编码能力
3.精通app逆向,安卓/IOS协议破解,xposed/frida动态调试,熟练使用IDA
4.精通web逆向:js解混淆、补环境、抠代码
5.有魔改浏览器经验以及验证码识别经验者优先