岗位职责:
1. 负责设计并实现高效的数据采集方案,覆盖Web抓取与API调用。
2. 使用Scrapy/BeautifulSoup等工具完成多源数据爬取与清洗。
3. 优化爬虫策略,确保数据采集的稳定性与合规性。
4. 与数据分析团队协作,提供结构化数据支持业务需求。
5. 参与反爬机制研究,提升数据采集效率与安全性。
任职要求:
1. 本科及以上学历,计算机或相关专业优先。
2. 精通Python编程,熟悉Jupyter Notebook开发环境。
3. 掌握Scrapy/BeautifulSoup等爬虫框架,具备实际项目经验。
4. 熟悉Web Scraping技术及API调用规范,了解反爬策略。
5. 具备持续学习新技术能力,有良好的团队协作意识。