爬虫开发工程师

岗位职责:

1、负责医美行业数据采集系统架构设计与开发,覆盖新氧、更美等垂直平台及美团医美板块数据抓取

2、突破主流社交媒体(小红书、抖音医美话题)的动态反爬策略,实现评论、种草内容的实时采集

3、构建分布式爬虫集群,实现公立医院整形科/私立机构价格数据的自动化追踪比对

4、设计智能调度系统应对平台验证码、IP封锁等反爬机制,确保数据获取稳定性(成功率≥99.5%)

5、建立医美热词云图数据库,抓取全网用户讨论热点及项目关注度趋势

6、配合合规部门制定数据采集策略,确保符合《网络安全法》《个人信息保护法》要求;

任职要求:

1、计算机/数学相关专业,3年以上Python爬虫开发经验

2、精通Scrapy框架,具备Selenium/Playwright动态渲染破解实战经验

3、熟悉医疗/电商类平台反爬机制

4、掌握分布式爬虫架构(Scrapy-Redis/Celery),熟练使用代理IP池技术

5、具备医疗文本数据清洗经验(NLP基础能力加分)

加分项:

1、有竞品医院空床位率监测系统开发经验

2、开发过医美医生职称/资质核验爬虫工具

3、掌握Frida逆向分析技术

公司地点:上海黄浦区中区广场808

公司简介:

职位发布者:郭女士

上海静和健康科技集团有限公司

融资阶段:

公司规模:

相似职位: