看重点:只能线下面试 ,如果是线上面试的勿扰!!!
岗位职责:
1、负责分布式爬虫框架的设计、开发与运维;
2、采集电商平台、社交媒体等多源数据,并实现数据清洗与结构化;
3、针对目标站点反爬策略进行技术攻关与性能优化;
4、搭建监控告警体系,编写运维脚本,保证爬虫稳定运行;
5、输出规范化数据接口,与数据分析和业务团队对接;
任职要求:
1、本科及以上学历,计算机或相关专业;
2、精通 Python,熟练使用 Scrapy、Requests、Selenium 等爬虫工具;
3、熟悉 Linux 下脚本编写与进程管理,了解分布式任务调度(如 Celery/Storm);
4、有数据清洗、存储经验,熟练掌握 MySQL、MongoDB、Elasticsearch 等;
5、具备良好的抗压能力和团队协作精神,有大规模数据抓取实战者优先;