岗位职责:
1. 使用Python及相关工具(Scrapy/BeautifulSoup)完成多源数据采集任务。
2. 开发并优化Web爬虫程序,确保数据获取的准确性和时效性。
3. 通过API接口实现结构化数据的高效抓取与清洗。
4. 协同数据分析团队完成数据交付,参与采集流程优化。
5. 维护数据采集系统稳定性,及时处理异常问题。
任职要求:
1. 计算机或相关专业本科及以上学历,1年以上开发经验。
2. 精通Python编程,熟悉Jupyter Notebook开发环境。
3. 掌握Scrapy/BeautifulSoup框架,具备Web爬虫开发能力。
4. 熟悉HTTP协议及API调用机制,了解反爬策略应对。
5. 有持续学习新技术能力,关注数据采集领域技术发展。