岗位职责:
1.根据产品需求,结合大模型能力,开发和优化互联网数据采集产品;
2.构建自动化/半自动化定向采集能力,推进数据抓取工作平台建设;
3.跟进最新的反爬技术与反制策略,持续优化爬虫架构和性能。
4.产品相关技术文档材料撰写,配合产品经理、咨询顾问完成售前演示等工作。
职位要求:
1.本科及以上学历,计算机、大数据、人工智能、网络安全等相关专业;
2.3-5年Python或者Java开发经验,熟悉爬虫框架,浏览器控制等技术,具有爬虫开发及逆向、常见的拦截技术(如验证码、JS加密等)应对经验;
3.具有大模型应用开发经验者优先,能够根据需求调整抓取策略;
4.熟悉常见网络协议和抓取接口,能够对数据进行高效提取和清洗;
5.具有创新精神,追求效率,乐于通过开发产品实现价值。