工作职责：
1. 负责爬取中外电商网站资源的开发及维护工作；
2. 负责反爬虫策略研究、代理IP、验证码识别等采集支撑服务建设；
3. 负责公司爬虫的技术调研以及策略优化；
4. 负责解决自动化登录等模拟人工操作的程序；
5. 负责海量互联网数据的定向爬虫、清洗与结构化;
任职要求：
1.本科及以上学历，3年以上Python开发经验，熟悉Scrapy、Pyppeteer、Playwright、Selenium等技术框架；
2.熟练应用Sql、Mongodb、Redis、Kafka等不同类型的数据库；
3.熟悉JS逆向技术，熟练应用正则表达式；
4.有大规模爬虫/反爬虫经验，熟悉HTTP协议/浏览器原理/APP抓取；
5.熟悉各种数据类型，有高质量高效率数据清洗的能力；
6.有解决复杂的反扒限制实践经验，能解决如图片验证码/滑块/账号限制/ip限制等问题，熟悉反爬虫、签名破解、验证码识别技术者优先;