岗位职责:
1、设计与开发网络爬虫系统:负责构建和维护网络爬虫系统,确保其能够高效、准确地从目标网站抓取数据;
2、数据采集与处理:负责抓取、解析、清洗大数据产品所需网站的信息,确保数据的准确性和完整性;
3、技术探索与应用:探索和应用新的爬虫技术,如JS渲染抓取、反爬攻破等,以应对不断变化的网络环境和反爬策略;
4、参与需求分析:与业务部门沟通,理解业务需求,并根据需求调整和优化爬虫系统等。
任职要求:
1、本科及以上学历,2年以上相关工作经验;
2、熟悉Python编程语言,熟悉Web界面结构分析方法,能够使用XPath对DOM文档进行查询和解析;
3、掌握一门主流语言的爬虫框架,如Scrapy等;
4、反爬技术:了解常见的反爬策略,能够解决JS逆向、IP封禁、参数加密、验证码等问题;
5、具备良好的逻辑思维能力,善于分析问题和解决问题,能够在团队中有效沟通和协作。
备注:此岗位需长期稳定驻场到客户公司做项目,属于人员外包性质。
信必优于1994年成立,全球3000多人,在北京、深圳、成都、广州、上海、武汉、中国台湾、美国、瑞典、芬兰等地都有分子公司。
29年来,信必优始终坚持以客户为中心,持续创新,为客户提供卓越技术服务,我们的主营业务是IT技术人员外包、智能终端测试、项目外包、RPA服务、ODC搭建等, 除此之外,信必优在人工智能(AI)、物联网(IoT)、数据挖掘、云存储和分布式计算方面也积累了相当的经验,充分利用我们丰富的行业知识和先进的技术能力为客户提供数字化转型服务。信必优通过的业界领先的质量与安全认证包括CMMI-Dev Level 3、ISO27001、ISO20000 、ISO45001、ISO14001和 ISO9001等,现与众多全球财富杂志500强企业和国内外优秀科技公司建立了长期合作关系,是全球客户信赖的IT技术服务合作伙伴。
信必优是一家全球数字服务公司,帮助企业构建创新型软件产品和数字化转型服务,从而连接和吸引他们的客户,并让其感到惊喜。我们的创新和设计思维过程深深扎根于我们的运营 DNA 中,超越了“以问题为中心”的方法,为组织及其客户提供优秀设计和功能。