岗位职责：
1. 负责公司业务相关数据爬取任务的需求分析、设计、开发及维护；
2. 开发高效稳定的网页爬虫，解决反爬机制，确保数据抓取的完整性及实时性；
3. 提取、清洗和处理抓取到的网页数据，将其存储至数据库；
4. 定期升级优化爬虫程序，提升抓取效率，扩展抓取种类；
5. 确保数据采集的合法性和合规性，与法律法规保持一致；
6. 配合数据清洗和分析团队，提供抓取的原始数据支持。
任职要求
岗位要求：
1. 本科及以上学历，计算机相关专业优先考虑；
2. 熟悉 Python 编程语言，精通爬虫框架；
3. 熟悉浏览器模拟、动态网页抓取相关技术，如 Selenium、Pyppeteer 等；
4. 对反爬机制有较为深入的理解，熟悉常见的反爬处理手段（如验证码识别、代理池、多线程抓取等）；
5. 熟练使用 MySQL 或 NoSQL 数据库（如 MongoDB、Redis 等），能够独立完成数据的存储和管理；
6. 对数据清洗及结构化处理有一定的基础；
7. 有较强的编码能力、问题解决能力，以及良好的代码规范意识；
8. 有完整的爬虫项目经验或协作案例者优先。
加分项：
1. 有分布式爬虫开发经验者优先；
2. 对 NLP、数据挖掘感兴趣或有经验者优先；
3. 了解或熟悉云服务器相关部署技巧者优先。
中科创达软件股份有限公司（股票代码：300496）是全球领先的智能平台技术提供商。自2008年成立以来，公司致力于提供卓越的智能终端操作系统平台技术及解决方案，助力并加速智能手机、智能物联网、智能汽车等领域的产品化与技术创新。作为一家技术驱动型企业，中科创达不但坚持自我创新，也注重扶持创新。一方面与高通、英特尔、微软等分别运营了多个联合实验室，为元器件适配和终端测试提供先进的资源和技术支持；同时与ARM、高通分别成立合资公司——安创空间加速器、重庆创通联达，为智能硬件企业及创新创业者提供产业平台，推动智能硬件技术发展；并与临空投、天使基金、北极光共同成立产业投资基金，整合资源助力创新。
目前，中科创达拥有一支对操作系统技术有深入理解的国际化专业团队。公司总部位于北京，分子公司及研发中心分布于全球19个地区。包括深圳、上海、南京、成都、重庆、武汉、西安、沈阳、大连、台北、香港、美国硅谷、圣地亚哥、日本东京、韩国首尔、芬兰赫尔辛基、印度海得拉巴、马来西亚槟城、保加利亚索菲亚。可以为全球客户提供便捷、高效的技术服务和本地支持。公司链接及简介：http://www.thundersoft.com/