数据仓库(实时-离线)

岗位职责:

1. **数据仓库构建与优化**

- 设计数据模型(维度建模、分层架构),搭建离线数仓,支持数据分析与决策。

- 需深入理解业务场景,能将业务需求转化为技术方案。

2. **ETL开发与维护**

- 编写高效、稳定的ETL流程,处理复杂数据清洗和转换逻辑。

- 熟悉数据调度工具(如Airflow)和任务监控。

3. **性能调优与治理**

- 解决数据倾斜、查询效率问题,具备大规模数据(TB/PB级)优化经验。

- 数据治理能力(质量监控、元数据管理、血缘分析)是关键加分项。

4. **跨团队协作**

- 与数据分析、算法、产品等多部门配合,需沟通能力强,能推动项目落地。

岗位要求:

1. **硬技能**

- **理论**:Kimball维度建模、数仓分层(ODS/DWD/DWS/ADS)、数据湖技术(Delta Lake/Iceberg)。

- **编程语言**:SQL(复杂查询、性能优化)、Java/Scala/Python(至少精通一种)。

- **大数据组件**:Hive(优化技巧)、Spark(Core/SQL/Streaming)、HBase、Flink(流批一体)。

- **工具链**:OLAP引擎(ClickHouse/Doris)、调度系统(Airflow/DolphinScheduler)、元数据管理(Atlas)。

2. **软技能**

- 逻辑思维、问题定位能力(需熟悉Linux调试命令、日志分析)。

- 数据敏感度,能从数据异常中发现业务或技术问题。

公司地点:上海长宁国际T3T4

公司简介:

职位发布者:杨子健

信飞誉远(上海)数字科技有限公司

融资阶段:

公司规模:20~99人

相似职位: