Web采集测试工程师(Python)

Responsibilities工作职责:

• Automation of Data Collection Processes, including web crawling, web scraping and external data providers integration.数据收集流程的自动化,包括网络爬虫、网页抓取以及与外部数据提供商的集成。

• Automation of “Extract Transform Load” (ETL) Processes, using a variety of open-source libraries and internal/custom frameworks.利用各种开源库和内部/自定义框架,实现“提取-转换-加载”(ETL)流程的自动化。

• Good understanding of different data formats such as pdf, json, xlsx, html, xml, YAML, ZIP, etc. 对pdf、json、xlsx、html、xml、YAML、ZIP等不同数据格式有很好的理解。

• Use Python, JavaScript, Perl and Regular Expressions into your day-to-day work in a Linux environment.在Linux环境下,将Python、JavaScript、Perl和正则表达式应用于日常工作中。

• Hands-on experience with cloud platforms like Azure or AWS.具有Azure或AWS等云平台的实践经验。

• Experience with infrastructure as code practices and managing CI/CD pipelines using tools like Jenkins and Terraform.具备基础设施即代码实践的经验,并使用Jenkins和Terraform等工具管理CI/CD管道。

Requirements岗位要求:

• Knowledge of Python and HTML.熟悉Python和HTML。

• Using Linux as a working environment.使用Linux作为工作环境。

• Good analytical & problem-solving skills.具备良好的分析和解决问题的能力。

• JavaScript as an advantage.具备JavaScript技能者优先。

• Knowledge of Internet Protocols like HTTP, HTTPS, SFTP, SSL, SMTP etc. as an advantage.了解HTTP、HTTPS、SFTP、SSL、SMTP等互联网协议者优先。

• Linux advance level (CentOS, bash, services) as an advantage.具备Linux高级水平(CentOS、bash、服务)者优先。

公司地点:上海静安区静安嘉里中心3座

公司简介:

职位发布者:程先生

上海司尔亚司数据信息有限公司

融资阶段:

公司规模:

相似职位: