.负责公司所需的互联网数据采集与清洗工作,包括目标网站分析、爬虫设计与开发;
.研究和实现反爬机制的应对策略,保障数据采集的高效性与稳定性;
.优化爬虫框架和采集流程,提高数据采集的并发量和成功率;
.定期维护爬虫程序,处理数据采集过程中遇到的异常情况;
.设计和维护数据存储结构,保证数据的完整性和可用性;.跟进爬虫领域的前沿技术,评估并引入新技术以优化采集系统;
.遵守相关法律法规,确保数据采集行为的合规性。
岗位要求
.计算机相关专业本科及以上学历,3年以上爬虫开发经验;
.熟练掌握至少一种编程语言(如Python、Java、Go),并具备扎实的代码编写能力;
.熟悉主流爬虫框架(如Scrapy、Selenium、 BeautifulSoup)及其使用场景;
.深入了解 HTTP 协议和网络抓包工具(如Fiddler、 Wireshark),能独立进行数据接口分析;
.熟悉常见的反爬机制(如验证码、IP 限制、动态内容加载等)及绕过策略;
.具备 MySQL、MongoDB等数据库操作经验,能够设计高效的数据存储方案;
XTransfer是一站式外贸企业跨境金融和风控服务公司,致力于帮助中小微企业大幅降低全球展业的门槛和成本,提升全球竞争力。公司连续7年专注B2B外贸金融服务,已成为中国B2B外贸金融第一平台,目前全球的贸易企业也都已开始使用XTransfer。
XTransfer以科技为桥梁,链接中外大型金融机构和中小微企业,打造了以中小微企业为中心的数据化、自动化、互联网化和智能化的反洗钱风控基础设施。XTransfer通过与知名跨国银行及金融机构合作,建设B2B外贸金融全功能平台,提供外贸收款、多币种现金管理、融资、风控服务、客户管理等在内的综合解决方案,让中小微企业享受到和大型跨国集团企业同等水平的跨境金融服务。
XTransfer公司总部设立在中国上海,并在中国香港地区、英国、荷兰、美国、加拿大、日本、澳大利亚、新加坡等地设有分支机构,并已在中国香港地区、英国、美国、加拿大、澳大利亚获得当地支付牌照。
XTransfer于2017年7月完成天使轮融资,由国内知名风险投资机构高榕资本及云启资本投资500万美元。2018年10月,XTransfer完成A轮融资1,000万美元,由招商局集团领投。2019年10月,XTransfer完成B1轮融资1,500万美元,由eWTP基金领投。2020年10月,XTransfer完成C1轮融资,由澳电创投(Telstra Ventures)领投。2021年1月,XTransfer完成C2轮融资,由Lavender Hill Capital Partners(LHCP)领投。2021年9月,XTransfer完成D轮融资,由D1 Capital Partners领投。