岗位职责
1、负责对行业数据的采集、管理,并不断完善行业数据积累;
2、主要针对国内一些电商网站,进行数据爬取,获取相关产品信息;
3、开发爬虫程序或者使用第三方软件,精准获取数据。
4、熟练运用各种方法、工具绕过反爬虫;
【任职要求】
1、本科或以上学历,3年以上同岗位经验;
2、熟练掌握 Python/Java任意语言,Python 优先;
3、熟练掌握常用的数据库(如mysql、redis等);
4、熟练使用selenium、requests、httplib2等常用爬虫模块;
5、熟悉常见的反爬机制及对应的应对措施,如cookie识别、ip封锁等;
6、善于主动学习,责任心强,良好的沟通表达能力。