工作职责:
1、参与整个系统开发生命周期 SDLC、、确保项目的成功交付;执行需求研究、分析、设计、文档、并与用户、技术和运营团队进行协调;
2、分析和组织来自不同数据源的原始数据、保持对相关数据工程实践的深入理解;
3、使用3NF和维度建模技术为数据仓库和数据集市设计数据模型;
4、为用户和消费应用程序的数据访问设计和构建数据api和数据虚拟化;
5、设计、构建和维护ETL批处理和流数据管道;
6、设计和构建数据平台 数据仓库、数据集市、数据湖、、支持用户验收测试和系统实施;
7、准备系统和操作文件、提供持续的用户和应用支持;
职位要求:
1、本科及以上学历、计算机科学、信息技术等相关专业、至少3年数据工程师经验、构建批量ETL和实时流数据管道、构建数据仓库、数据湖和分析平台;
2、具有数据仓库和数据应用的业务支持知识和经验、熟练掌握编程语言:SQL、 Python、 PySpark、 Java、 JavaScript
3、数据库经验:Oracle - PL/SQL、 Teradata或类似数据库
4、具有OpenShift - Restful API、 Apache Spark、 Hadoop、 Perl、 Java、 SAS经验
5、有AWS云数据平台工作经验:S3、Redshift、EMR、Glue、MWAA、Lambda、DMS、Transfer Family、DevOps
6、有ETL工具Informatica使用经验、英文口头和粤语沟通优先;
7、良好的分析、人际关系和解决问题的能力、良好的团队合作精神、积极向上、创新、主动、渴望学习和与其他团队成员分享、勤奋、能够承受工作压力和独立工作;