职位详情

岗位职责： 1、负责爬取互联网上允许搜索爬虫采集的公开数据的爬取，清洗，结构化，入库； 2、负责分布式网络爬虫系统的设计与开发； 3、负责爬虫的性能优化，如：处理性能，爬取策略，占用带宽，反爬虫机制等方面； 4、负责破解各类反爬机制，如，APP反编译、逆向分析、脱壳、加密参数破解、APP渗透、.so反汇编; 5、编写开发文档，可供其他开发同事进行后续开发支持。