工作职责：
1、针对公司业务进行网页端/APP端的数据抓取、分析处理、入库；
2、根据业务需求，不断完善数据爬取技术，迭代更新爬虫技术，提升数据抓取系统的稳定性；
3、配合其他业务部门完成相关项目的开发任务；
职位要求：
1、本科学历，3-5年java经验。精通Python或JAVA，熟悉mysql、clickhouse和redis，1年以上爬虫经验；
2、熟悉js/css/html基本语法，可分析页面中的js逻辑与事件调用机制；
3、熟练掌握应用Selenium/Puppeteer/webDriver/HttpClient等实施动态抓取；
4、熟悉常见反爬机制，如图形验证码识别、滑块验证码识别、点选验证码识别、请求头或body参数解密等；
5、熟悉熟练使用fiddler、charles、anyproxy等抓包工具者优先；
6、必须拥有良好的代码习惯，要求结构清晰，命名规范，逻辑性强，代码冗余率低；
7、需要有实际抓取过登录态页面数据经验，如具有移动端APP抓取经验者优先；
8、做过大数据分析、存储等相关工作的优先。