岗位职责:
1. 负责设计并开发高效爬虫系统,抓取目标网站数据并保障数据质量。
2. 优化爬虫策略与反爬机制,提升数据采集效率与稳定性。
3. 与数据分析团队协作,完成数据清洗、存储及初步处理。
4. 参与爬虫框架选型及技术路线规划,推动团队技术升级。
任职要求:
1. 本科及以上学历,计算机或相关专业,精通Python语言。
2. 熟悉Scrapy/Requests等爬虫框架,掌握多线程/异步编程。
3. 具备反爬策略应对经验,熟悉常见网站架构及数据格式。
4. 了解分布式爬虫设计,有持续学习新技术能力者优先。