岗位职责：
1.负责从社交媒体KOL和区块链信息聚合网站收集信息。
2.负责爬虫核心功能的开发和优化、架构设计、系统规划，以及爬虫技术方面的技术研究。
3.负责爬虫数据的采集、分析、清理、重复数据删除、分发、存储等工作，不断提高采集效率。
4.破解反爬虫机制，优化爬虫路由调度策略，负责反爬虫策略的设计和优化。
5.爬虫健康和数据质量监控，保证爬虫的稳定性、可靠性、及时性和准确性。
岗位要求：
1.了解或掌握区块链的基本概念，熟悉Python语言的使用，熟练掌握主流开源爬虫框架，如 Scrapy、Requests、Ui automator2、Playwright等。
2.精通爬虫抓取原理和技术，熟悉爬虫设计和实现流程，至少2—3年互联网数据抓取和爬虫系统开发经验。
3.精通mongo、redis、mq、mysql等相关技术，了解各种Web前端技术，包括XHTML/XML/CSS/JavaScript/AJAX等。
4.熟悉防爬虫机制，并有相应的裂解方案。
5.优秀的分析问题和解决问题的能力，对解决具有挑战性的问题充满热情，良好的团队合作精神和强烈的责任感。
6.有web3领域工作经验，有爬虫平台平台化经验，熟悉java语言，有大数据处理经验者优先。