岗位职责:
1、设计并实现高效的Python爬虫程序,进行数据采集。确保数据爬取的全面性,不遗漏任何关键信息;
2、按要求对数据进行结构化清洗,确保数据质量;
3、应对网站反爬虫机制,持续优化爬虫策略,保证数据抓取的稳定性和可持续性;
4、定期监控数据更新情况,确保数据的及时性和准确性,建立数据更新日志;
5、编写和维护爬虫相关的技术文档,协助团队成员理解和使用爬虫工具;
6、与数据分析团队紧密合作,根据业务需求调整和优化数据抓取策略;
任职要求:
1、计算机科学、软件工程或相关专业本科及以上学历。
2、精通Python编程语言,具备扎实的编程基础,熟悉Python常用库(如requests,BeautifulSoup,Scrapy等)进行网页数据抓取。
3、至少3年以上Python爬虫开发经验,有成功爬取大型网站数据案例者优先。
4、熟悉HTTP协议、网页解析原理及常见反爬虫策略应对方法。
5、具备良好的问题解决能力和逻辑思维能力,能够独立分析和解决技术难题。
6、强烈的责任心和团队合作精神,能够在快节奏环境中高效工作。
7、对数据敏感,有良好的数据分析和处理能力者更佳。
如果你觉得你非常适合,可以直接投递简历过来。(请麻烦先查看下招聘简章后再投递)谢谢
重庆大司空信息科技有限公司成立于2017年8月8日,总部位于两江新区高科财富园,是一家以产业数据要素为核心的信息技术提供商及应用方案提供商。自成立以来,公司始终坚持以数字产业化和产业数字化为主要发展方向,围绕大数据、智能征信、供应链金融三大核心业务领域,通过大数据及人工智能的技术创新和应用创新,培育及推动大数据产品及行业应用的落地。
大司空建立了覆盖全国3亿家市场主体的工商基本信息库、信用信息库、负面信息库、知识产权库、资质资格信息库、荣誉证书库、人员信息库、工程项目库、招投标信息库、土地交易信息库、商机信息库、大司法信息库,共12个主体信息库,数据总体积超过100T。通过全量的数据和成熟的技术,公司研发并创新了两大平台——“以大数据治理为核心的大数据API开放平台”、“以应用研发创新为核心的低代码PaaS平台”,赋能企业数字化转型,助力经济高质量发展。