岗位职责:
1、根据工作安排,负责相关数据的自动化采集、抽取及清洗工作;
2、负责分析数据需求,快速确定数据采集方案并按时完成交付结果;
3、维护数据增量更新变动及修改,保证数据新鲜度及数据质量。
职位要求:
1、计算机相关专业专科及以上学历
2、有js逆向经验的优先录用
3、精通Python语言、php/java等语言,精通常用的数据抽取方法
4、熟悉html、js等前端技术,熟悉http、tcp/ip协议
5、熟悉主流爬虫框架,熟练使用常用的数据库mongo、mysql、redis