岗位职责：
1、负责爬取互联网上允许搜索爬虫采集的公开数据的爬取，清洗，结构化，入库；
2、负责分布式网络爬虫系统的设计与开发；
3、负责爬虫的性能优化，如：处理性能，爬取策略，占用带宽，反爬虫机制等方面；
4、负责破解各类反爬机制，如，APP反编译、逆向分析、脱壳、加密参数破解、APP渗透、.so反汇编;
5、编写开发文档，可供其他开发同事进行后续开发支持。