岗位职责:
1、构建和维护大数据平台,确保平台稳定、可靠、可扩展;
2、对大量数据进行ETL处理、设计并优化数据模型和数据仓库,提高数据处理效率和准确性;
3、参与业务分析,参与大数据项目的技术选型、方案设计、开发实施和维护优化;
4、负责和业务部门的沟通,了解业务需求和数据的真实意义,针对需求提供建议和方案。
任职要求:
1、有扎实的计算机基础,熟练掌握Python、Java、Scala、SQL等编程语言及相关工具;
2、深入理解大数据技术栈,包括但不限于Hadoop、Spark、Flink、Hive、HBase、Kafka等;
3、对数据治理有深入理解,熟悉数据质量管理、数据血缘、元数据管理等领域;
4、熟练掌握数据仓库、数据集市等平台的构建和开发,有大型数据仓库系统或数据应用系统的开发和性能调优经验优先;
5、熟悉数据湖技术,如DeltaLake、ApacheHudi、Iceberg等,以及相关的存储格式和管理工具;
6、熟悉Linux操作系统,能够熟练使用Linux命令行工具进行数据处理和系统管理;
7、拥有良好的团队协作和沟通能力,能够高效协调跨部门合作;
8、具有严谨的工作态度和学习意愿,对未知领域有强烈的好奇心和求知欲,具备团队合作精神和积极主动的工作态度。