高级爬虫工程师(电商)

近期日采达到其中一项就行

1. 近期淘宝商品采集5w+

2.PDD商品近期采集5000+

3.抖音商品近期采集1w+

双休+五险一金+餐补

弹性上下班

【工作职责】:

1、负责分布式网络爬虫系统及数据库的设计与开发;

2、研究及破解电商及自媒体app反爬策略,保证爬取的稳定性;

3、维护和优化已有的爬虫服务;

4、负责爬虫核心算法的策略优化研究,设计爬虫策略和防屏蔽规则,充分利用资源,提升网页抓取的效率和质量;

5、负责数据平台建设,数据清洗、处理,提供数据服务以及数据管理;

6、分析、理解大数据业务需求,设计技术方案并落地实施;

7、处理各个业务在使用数据平台过程中的各种问题,分析并给出优化方案;

8、可以独立跟进需求项目开发进度。

【任职要求】:

1、计算机相关专业,5年以上Python爬虫工作经验;

2、熟悉爬虫原理及常用的反扒技术,包括但不限于JS防护、混淆、逆向分析、加密、App破解、防逆向、加固、代理等技能,具备较好的前端分析技能;

2、熟悉各类HOOK框架包括单不限于frida、xposed;

3、有天猫、京东、抖音等国内主流平台任意一个平台的项目经验,有App端数据采集经验;

4、熟悉网络爬虫开发原理,对互联网各种类型数据交互模式熟悉,知道如何处理需登录网站、动态网页等各种情况下的数据采集方法;

5、熟悉selenium、Appnium、Airtest、Scrapy、pyspider等爬虫相关框架;

6、熟悉常用数据库(MySQL/Oracle/SQLSever/Redis) ,熟悉索引技术和SQL优化,了解RabbitMQ、InfluxDB。

公司地点:广州润慧科技园广州黄埔区润慧科技园D栋1-2楼赛博威

公司简介:

职位发布者:黄女士

广东赛博威信息科技有限公司

融资阶段:

公司规模:

相似职位: