岗位职责：
1、负责电商平台商品、价格、评论、促销等数据的爬取、清洗、整合。
2、持续优化爬虫策略，维护爬虫稳定性，解决反爬机制带来的挑战。
3、负责代理IP池、Cookies池、UA池等基础资源的维护与管理。
4、配合业务和产品团队的需求，快速响应并提供有效的数据支持。
5、参与数据分析和数据仓库的构建，为业务决策提供数据洞察。
任职要求：
1、1-2年爬虫开发经验，具备独立开发和维护爬虫系统的能力。
2、精通 Python，熟悉 Scrapy、Requests、Selenium 等主流爬虫框架和库。
3、熟悉 HTML/CSS/JavaScript，了解网页渲染机制和 Ajax 异步加载。
4、熟悉常用的反爬技术和破解策略，包括但不限于验证码识别、Headers 加密、Cookie 追踪、IP 限制等。
5、熟悉至少一种数据库（如 MySQL、MongoDB、Redis），能够进行基本的数据存储和查询操作。
6、具备良好的代码编写习惯，注重代码质量和可维护性。
7、具备高度的责任心和学习能力，乐于解决技术挑战。