岗位职责:
1. 主导爬虫系统架构设计,实现高效数据采集与清洗流程。
2. 开发维护分布式爬虫集群,保障系统稳定性与可扩展性。
3. 优化反爬策略,突破各类网站防护机制。
4. 与数据分�团队协作,提供结构化数据支持。
5. 参与技术路线规划,推动爬虫技术创新。
任职要求:
1. 本科及以上学历,计算机相关专业。
2. 5-10年爬虫开发经验,精通Python开发。
3. 熟练使用Scrapy/BeautifulSoup/Selenium至少两项技术栈。
4. 熟悉Puppeteer/Playwright等无头浏览器技术优先。
5. 具备持续学习新技术能力,关注行业动态。