岗位职责：
1. 设计和开发高性能的网络爬虫系统，抓取互联网数据。
2. 维护和优化现有的爬虫系统，确保数据抓取的稳定性和准确性。
3. 处理大规模数据的存储和管理，进行数据清洗和分析。
4. 协同数据分析团队，提供数据支持和技术解决方案。
任职要求：
1. 3年以上爬虫开发经验，熟练掌握Python或Java等编程语言，计算机相关专业本科及以上学历。
2. 熟悉常见的爬虫框架，如Scrapy、BeautifulSoup、Xpath、Selenium/Playwright等。
3. 熟悉HTTP协议爬取，了解网页结构和常见的反爬机制。
4. 具备使用flask、FastAPI等框架的后端开发能力。
5. 具有良好的数据处理能力，熟悉数据库和分布式系统。
加分项：
1. 具有复杂JS逆向经验，熟练使用AST反混淆、变量追踪、内存dump等技术。
2. 熟悉常见加密算法实现特征，能够还原CryptoJS、Web Crypto等加密方案。
3. 参与过业务情报、数据泄露相关场景的案例。
4. 参与过大型爬虫项目并有相关案例。