岗位职责：
1、负责公司数据采集系统的架构设计和优化，确保数据采集的稳定性、高效性和可扩展性；
2、研究并掌握各种网络爬虫技术，包括网页爬虫、分布式爬虫、隐式爬虫等，以满足不同数据需求；
3、针对目标网站的反爬虫策略，编写相应的爬虫程序，进行数据抓取；
4、负责数据采集系统的代码编写和维护，对现有代码进行优化和改进；
5、制定和执行数据抓取策略，对抓取数据进行清洗、存储和分析；
6、与团队成员沟通协作，分享技术心得和经验，提高团队整体技术水平；
7、完成上级领导交办的其他任务。
任职要求：
1、本科及以上学历，计算机相关专业，2 年及以上爬虫开发经验；
2、熟悉网络爬虫原理，掌握多种爬虫技术和反爬虫策略；
3、熟练使用 Python、Java 等编程语言，具备扎实的编程基础；
4、熟悉分布式系统原理，有分布式爬虫开发经验者优先；
5、具备良好的数据敏感度和数据分析能力，能够根据需求提取关键信息；
6、善于沟通，团队协作能力强，能承担一定的技术攻关任务；
7、对新技术充满好奇心，有持续学习和自我提升的能力。