大数据数仓工程师

岗位职责:

1、参与跨境电商数据中台建设,负责数据仓库的架构设计、模型设计和 ETL 开发,基于AWS Redshift 构建高效、稳定的数据仓库。

2、负责电商数据爬虫的开发与维护,从各大电商平台抓取商品、订单、评论等数据。

3、负责数据仓库的日常维护和优化,包括数据质量监控、性能调优、故障排查等。

4、参与数据治理工作,制定数据质量标准,监控数据异常,解决数据一致性、完整性等问题。

5、研究和探索新的数据仓库技术和工具,不断提升数据仓库的性能和效率。

6、编写相关技术文档,包括数据仓库设计文档、ETL 开发文档、数据字典等。

7、支持业务部门的数据需求,输出数据文档并推动数据产品化。

任职要求:

1、计算机科学、软件工程、信息管理等相关专业本科及以上学历,5年以上数据仓库开发经验,有过广告、跨境电商或营销领域的数据仓库项目。

2、熟练使用SQL,熟练掌握至少一种编程语言(Python/Java/Scala等),具备数据处理、分析和挖掘经验,有丰富的 ETL 开发经验。

3、有基于AWS Redshift 或BigQuery等平台,构建包括数据集成、数据开发、数据质量、数据服务等模块经验

4、熟悉大数据生态圈相关技术,如Spark、Flink、Doris、StarRocks、Dolphinscheduler、观远 BI等

5、有过电商数据爬虫开发经验,熟悉常见的反爬虫策略和应对方法。

6、具备与技术中台进行数据交互开发的经验,熟悉 API 接口设计和开发。

7、有相关Dolphinscheduler/Seatunnel等大数据组件二开经验。

8、具备良好的沟通能力和团队合作精神,能够独立解决问题并承担工作压力。

公司地点:广州海珠区赫基大厦12楼

公司简介:

职位发布者:汪先生

广州爆米科技有限公司

融资阶段:

公司规模:100~499人

相似职位: