工作内容:
1、 熟练掌握常用抓包工具,如 Charles,wireshark或fiddler等;
2、 负责设计和开发分布式的网络爬虫,数据的采集、清洗、结构化、入库、统计分析等需求
3、 负责反爬虫策略研究,代理IP、验证码识别等采集支撑服务建设;
4、 负责Android、iOS 应用的部分逆向工作;
5、 负责 APP 的数据抓取和爬取链路优化(包括 Android APP 反编译、脱壳、加密参数破解、抓取攻防等),提升抓取能力;
6、 分析主流网站和app的对抗机制,破解主流网站和app的反爬机制。
任职要求:
7、 熟悉HTTP、TCP等网络协议及数据抓包、分析;熟练使用抓包工具;
8、 具备爬虫相关开发经验,精通Scrapy框架,深入了解scrapy底层;
9、 精通python web 、,具备互联网产品项目开发经验;
10、熟悉常见的数据库,如Mysql,mongdb,redis 等具备一定的数据库优化能力;
11、加分项:具备丰富的逆向工程经验,尤其在Android、iOS平台的逆向工程经验,成功逆向过的经历;