岗位职责:
1、负责设计、开发、维护爬虫系统;
2、积极主动思考探索爬虫在实际业务中的价值,参与设计数据有效利用策略,从数据合理性、完整性角度提供建议;
3、完成数据采集与爬取、解析处理、入库等数据日常工作,跟进技术热点,及时更新新的爬虫功能;
4、负责爬虫核心技术研究、开发工作,对反爬虫屏蔽具有相应的应对策略。
5、实现数据提取、清洗、结构化、入库、统计分析等需求。
岗位要求:
1、掌握Python编程语言,熟悉常用的爬虫框架;
2、Pyhton语言基础扎实,有良好的编程功底和编码习惯;
3、熟悉HTTP、HTTPS等网络协议及数据抓包、分析;
4、掌握相关的数据存储工作;
5、熟悉反爬虫机制;
6、能够阅读英文技术资料优先。
工作时间:上午9:00-12:00,下午13:00-18:00 每周双休
工作地点:高新区经十路与舜华南路交叉口汉峪金谷A2区2栋19层(这层都是我们公司)
公司属于创新型技术公司,技术总监是清华大学高材生,公司正在和硅谷公司进行海淘商品大数据方面的合作,公司拥有济南目前唯一的RUBY团队。