(该岗位前期需要到株洲工作）
岗位职责：
1、负责编写网页类爬虫，完成数据采集、解析处理（抽取、清洗、消重）、入库等数据日常工作；
2、负责爬虫核心算法和策略优化，改进和提升爬虫效率，攻破各种反爬策略 ；
3、 解决技术疑难问题，建设反爬对抗组件库，包括反反爬、压力控制等，提升网页抓取的效率和质量；
4、 编写、审查和维护技术文档。
岗位要求：
1，1到3年爬虫工作经验，精通python；
2、熟悉python常见爬虫框架；
3、熟悉html, css, javascript；
4、熟悉Mongo、Mysq、Redis数据；
5、有API开发经验者优先；
6、熟悉go/c/c++等其他语言、熟悉docker容器优先