岗位职责:
1. **数据仓库构建与优化**
- 设计数据模型(维度建模、分层架构),搭建离线数仓,支持数据分析与决策。
- 需深入理解业务场景,能将业务需求转化为技术方案。
2. **ETL开发与维护**
- 编写高效、稳定的ETL流程,处理复杂数据清洗和转换逻辑。
- 熟悉数据调度工具(如Airflow)和任务监控。
3. **性能调优与治理**
- 解决数据倾斜、查询效率问题,具备大规模数据(TB/PB级)优化经验。
- 数据治理能力(质量监控、元数据管理、血缘分析)是关键加分项。
4. **跨团队协作**
- 与数据分析、算法、产品等多部门配合,需沟通能力强,能推动项目落地。
岗位要求:
1. **硬技能**
- **理论**:Kimball维度建模、数仓分层(ODS/DWD/DWS/ADS)、数据湖技术(Delta Lake/Iceberg)。
- **编程语言**:SQL(复杂查询、性能优化)、Java/Scala/Python(至少精通一种)。
- **大数据组件**:Hive(优化技巧)、Spark(Core/SQL/Streaming)、HBase、Flink(流批一体)。
- **工具链**:OLAP引擎(ClickHouse/Doris)、调度系统(Airflow/DolphinScheduler)、元数据管理(Atlas)。
2. **软技能**
- 逻辑思维、问题定位能力(需熟悉Linux调试命令、日志分析)。
- 数据敏感度,能从数据异常中发现业务或技术问题。