工作职责:
1)负责抖音、小红书等平台账号数据爬取系统的设计、开发与维护;
2)开发自动化脚本实现数据采集、清洗、存储及可视化;
3)突破平台反爬机制(如动态加密、行为验证等),确保数据稳定获取;
4)设计数据存储方案(MySQL/MongoDB/Redis等),优化数据处理流程;
5)配合业务团队提供数据支持,开发数据接口服务;
6)开发RPA脚本完成网页数据填报。
任职要求:本科学历,计算机相关专业,3年及以上工作经验
1. 精通Python,熟练掌握Scrapy、requests、aiohttp等采集框架,具备良好的代码规范与工程能力;
2. 具有抖音、小红书相关平台的数据爬取项目经验;
3. 熟悉主流反爬产品原理并有实际对抗经验;
4. 熟悉RPA流程设计(如影刀RPA),能将采集任务和自动化流程无缝集成;
5. 熟悉MySQL、Redis等常用数据库,具有一定SQL优化能力;
6. 具有较强的问题分析与解决能力,抗压能力强,对技术有热情,能根据项目要求进行一定的工作日和周末加班。