中级爬虫
优先：抖音，快手，小红书，ins，推特，瑞数
岗位职责
1.爬虫程序开发：使用Python、Java等语言及Scrapy、BeautifulSoup等框架，开发爬虫抓取网页数据，针对动态、需登录等复杂页面定制爬虫逻辑。
2.反爬策略应对：研究网站反爬机制，运用IP代理池、验证码识别等技术绕过，实时监控爬虫，依反爬策略变化调整优化。
3.数据处理与存储：清洗、去重、格式化抓取数据，保障数据质量；选用MySQL、MongoDB等存储，构建数据更新维护机制。
4.系统运维与优化：负责爬虫系统日常运维，监控状态、管理日志、排查解决问题；优化系统性能，提升数据抓取速度效率 ，制定安全策略保数据安全。
5.团队协作沟通：与数据分析、产品等团队合作，了解数据需求，提供支持、解决问题；与开发团队协作，实现系统对接，在团队内分享技术经验。
任职要求
1.学历专业：计算机科学、软件工程等相关专业本科及以上学历。
2.工作经验：有2年以上爬虫开发经验，有实际项目经验优先。
3.技术技能：熟练掌握Python或Java；熟悉至少一种爬虫框架；了解HTTP协议及反爬策略应对方法；掌握数据处理和存储技术；具备前端知识；熟悉 jsvmp。