爬虫开发工程师

工作职责:

1、参与爬虫系统的架构设计与开发;

2、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析;

3、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;

4、能独立解决实际开发过程碰到的各类问题;

任职要求:

1、2年以上js逆向经验,熟悉scrapy等采集框架使用。

2、熟练js逆向,如常见加密算法、补环境、日志插桩还原等技巧。

3、精通某一项数据业务,包括不限于:电商、工商、司法、税务、商标专利、招投标等数据,知道如何保证数据完整和及时性。

4、熟悉mysql、mongdb、kafka、redis、rabbitmq 原理及常用操作。

加分项:

1、掌握验证码模型训练、账号风控策略、ip风控策略、jsvmp算法还原等,加分。

2、有大型爬虫开发经验,单个数据源采集量超过千万,加分。

3、有大规模站点框架开发经验,如招投标、舆情等场景,加分。

4、有产品思维优先。

岗位福利:节日福利、双休五险一金、餐补、带薪年假、股票期权、年终奖、定期体检

公司地点:上海尚品都汇1号楼268号

公司简介:

公司是人民银行备案征信机构,从事信用产品研发、信用信息服务等业务。公司基于电子商务大数据为全国上百家市场监管局提供违法线索、信用报告、市场监测、信用管理等产品和服务,服务能力和水平位列行业前茅。公司基于社会公共信用信息(包括但不限于工商、司法、知识产权等)与股东360合作建设“中国企业信用档案库”并以“可信网站、可信百科”、“立信计划”为载体为中小企业、个体工商户提供可触达、可信任的增信服务,客户规模已达30万并呈高速增长态势。公司基于电子商务信息、社会公共信用信息、市场信用信息等,通过“水滴信用”平台为C端用户提供快捷、高效的信用查询服务;通过“爱查ICP”为企业提供以“获客”为目标的信用增值服务;通过解决方案服务大型企业,形成产业链中不可或缺的一环,用户规模已超过500万并保持稳定的增长态势。公司连续三年保持40%以上的复合增长,与母公司共同被认定为上海市高新技术企业。公司始终坚持科技进步推进业务发展的理念,在大数据采集、加工、管理以及应用转化、人工智能等领域深耕细作,形成了可持续发展的关键技术、核心能力,产生了数十项发明专利、软件著作权。

成为可信互联网领域的创新实践者、发展引领者是公司历史、现在乃至未来的发展愿景。

职位发布者:袁先生

上海凭安征信服务有限公司

融资阶段:不需要融资

公司规模:100~499人

相似职位: