职位描述:
1. 负责设计、开发和优化爬虫系统,解决复杂反爬挑战;
2. 负责数据抓取、处理、清洗和接口服务的开发,确保数据质量、稳定性和系统高效运行;
3. 设计、实现和优化Agent相关应用,解决实际业务问题;
4. 参与后端服务的设计、开发和优化,保障系统在高并发、大数据量场景下的高性能、低延迟和高可用性;
岗位要求:
1. 本科及以上学历,计算机相关专业;
2. Python 核心能力:精通 Python 编程,具备优秀的工程化能力和代码规范意识,能高效开发并解决复杂问题;
3. 爬虫能力:具有丰富的爬虫实战经验,熟悉 HTML/CSS/JS 解析及浏览器自动化工具,能应对复杂反爬策略;
4. 数据处理能力:熟练掌握Pandas、NumPy等数据处理工具,熟练掌握 MySQL等数据库及优化技巧,理解 Redis 等缓存应用;
5. Agent 能力:了解大语言模型的基本应用,具备使用主流 Agent/LLM 框架的实际项目经验,构建具备任务规划、工具调用能力的 Agent 应用;
6. 基础技术栈:熟悉 Linux 开发环境,了解FastAPI/Flask等后端框架,熟悉消息队列(RabbitMQ/Kafka)和并发编程(asyncio/多线程/多进程);
7. 综合能力:优秀的问题分析解决能力、团队协作和沟通能力;
8. 加分项:
• 有构建实际运行的Agent系统或复杂分布式爬虫系统的经验;
• 具备基础的机器学习/深度学习/自然语言处理知识及应用经验;