岗位职责：
1、设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作，实时监控爬虫的进度和警报反馈；
2、研究各种网站、链接的形态，发现它们的特点和规律；
3、解决技术疑难问题，包括反反爬、压力控制等，提升网页抓取的效率和质量。
任职要求：
1、精通python、计算机网络，熟练使用多线程，熟悉Scrapy等常用爬虫框架；
2、深度参与过至少一个‘分布式网络爬虫系统’的架构设计，熟悉分布式系统，多线程
3、精通反爬对抗，Ajex网页抓取，浏览器模拟抓取、多平台抓取等技术，能够解决封账号、封IP、验证码识别、图像识别等问题；
4、对主流爬虫架构有深入研究，具有成熟爬虫工具的设计及运维经验。
奇安信科技集团股份有限公司（以下简称奇安信）成立于2014年，专注于网络空间安全市场，为向政府、企业用户提供新一代企业级网络安全产品和服务。凭借持续的研发创新和以实战攻防为核心的安全能力，已发展成为国内领先的基于大数据、人工智能和安全运营技术的网络安全供应商。同时，奇安信是2022年冬奥会和冬残奥会网络安全服务与杀毒软件的官方赞助商；此外，公司已在印度尼西亚、新加坡、加拿大、中国香港等国家和地区开展网络安全业务。