岗位职责：
1、 负责大数据应用需求下的各类网站、APP的数据采集、更新；
2、 负责对采集的数据按业务要求对数据进行去燥、归类清洗工作；
3、 参与大数据平台的应用功能开发；
4、 能独立解决实际开发过程碰到的各类问题；
5、 快速学习能力、工作积极主动、有创业热情和良好的团队协作能力；
任职要求：
1、 各种抓取技术、包括代理、selenium、验证码处理等；
2、 熟练掌握 Java / Python 中至少一种编程语言
3、 了解一些常见网络抓包软件、如：Flidder、Charles、Mitmproxy；
加分项：
1、防爬技术网站采集经验优先；有多线程编程经验优先；
2、爬取抖音、快手数据日均超100w次