岗位职责:
1、设计和实施可靠的数据存储方案、如数据仓库、数据湖等、以支持数据的存储和检索;
2、负责构建和维护数据服务平台、为不同团队和业务场景提供高质量的数据服务和支持;
3、负责建立和维护企业级数据治理框架、包括数据的标准化、质量控制、数据安全保护等方面的内容;
4、负责一些数据分析及挖掘相关的工作、提供数据报告、帮助业务决策和业务优化;
5、负责设计和优化数据架构和数据模型、提高数据处理和分析的效率;
要求:
1、掌握维度建模、数据治理、标签体系、数据可视化、ETL等相关的理论、具备数据建模和数仓设计能力;
2、精通Spark、Flink、Kafka等框架进行流批处理、具有丰富的实时数仓、数据湖开发经验;
3、精通Oracle、PostgreSQL、MySQL等数据库、具备使用SQL进行复杂数据分析的能力;
4、熟练使用Hadoop、Hive、kudu、ClickHouse、DataX、Kettle等大数据工具;
5、掌握Python、Java等语言、具有一定的研发工作经验;
6、具有良好的分析问题、解决问题的能力、良好的学习、沟通和团队合作能力;