岗位职责：
1、负责社媒KOL、区块链资讯信息聚合网站信息采集。
2、负责爬虫核心功能开发及优化、架构设计、系统规划，以及爬虫技术的技术调研。
3、负责爬虫数据采集、解析、清洗、去重、分发、入库等，不断提升采集效率。
4、破解反爬机制，优化爬虫路由调度策略，同时负责反爬策略的设计及优化。
5、爬虫健康、数据质量监控，确保爬虫的稳定性、可靠性、及时性、准确性。
任职要求：
1、了解或掌握区块链基本概念知识、熟悉使用Python语言，熟练掌握主流开源爬虫框架Scrapy、Requests、Ui automator2、Playwright等。
2、精通爬虫抓取原理及技术，熟悉爬虫的设计及实现流程，至少2-3年互联网数据抓取及爬虫系统开发经验。
3、熟练掌握mongo、redis、mq、mysql等相关技术，了解各种Web前端技术，包括XHTML/XML/CSS/JavaScript/AJAX等。
4、熟悉反爬虫机制并有对应的破解方案。
5、优秀的分析问题和解决问题的能力，对解决具有挑战性问题充满激情，良好的团队合作精神具有强烈的责任心。
6、有web3领域经验、爬虫平台平台化经验、熟悉java语言、大数据处理经验优先。