岗位职责:
1、参与跨境电商数据中台建设,负责数据仓库的架构设计、模型设计和 ETL 开发,基于AWS Redshift 构建高效、稳定的数据仓库。
2、负责电商数据爬虫的开发与维护,从各大电商平台抓取商品、订单、评论等数据。
3、负责数据仓库的日常维护和优化,包括数据质量监控、性能调优、故障排查等。
4、参与数据治理工作,制定数据质量标准,监控数据异常,解决数据一致性、完整性等问题。
5、研究和探索新的数据仓库技术和工具,不断提升数据仓库的性能和效率。
6、编写相关技术文档,包括数据仓库设计文档、ETL 开发文档、数据字典等。
7、支持业务部门的数据需求,输出数据文档并推动数据产品化。
任职要求:
1、计算机科学、软件工程、信息管理等相关专业本科及以上学历,5年以上数据仓库开发经验,有过广告、跨境电商或营销领域的数据仓库项目。
2、熟练使用SQL,熟练掌握至少一种编程语言(Python/Java/Scala等),具备数据处理、分析和挖掘经验,有丰富的 ETL 开发经验。
3、有基于AWS Redshift 或BigQuery等平台,构建包括数据集成、数据开发、数据质量、数据服务等模块经验
4、熟悉大数据生态圈相关技术,如Spark、Flink、Doris、StarRocks、Dolphinscheduler、观远 BI等
5、有过电商数据爬虫开发经验,熟悉常见的反爬虫策略和应对方法。
6、具备与技术中台进行数据交互开发的经验,熟悉 API 接口设计和开发。
7、有相关Dolphinscheduler/Seatunnel等大数据组件二开经验。
8、具备良好的沟通能力和团队合作精神,能够独立解决问题并承担工作压力。