高级大数据开发工程师

岗位职责

1. 负责企业级数据治理体系建设,包括数据质量管理、数据标准化、数据生命周期管理及合规性管理。

2. 参与大数据平台架构设计与优化,完成数据采集、清洗、存储、计算及分析全流程开发。

3. 基于业务需求设计并实现高效的数据模型(如数仓分层模型、维度建模等),支持业务决策与数据驱动的创新。

3. 基于 Flink/Kafka/Starrocks 等技术栈,构建高并发、低延迟的流式数据处理系统,支撑实时报表、监控预警等场景。

4. 优化SQL性能(如复杂查询优化、索引设计),提升数据处理效率与系统稳定性。

5. 参与大模型(如LLM)的开发与应用,结合 RAG(检索增强生成)、向量数据库及 Agent框架构建智能问答、知识图谱等场景化解决方案。

6. 探索大模型与业务场景的结合,推动AI能力在数据治理、自动化分析等领域的落地。

7. 与产品、业务、算法团队紧密合作,将业务需求转化为技术方案。

岗位要求

1, 计算机科学、软件工程、数学或相关专业本科及以上学历。

2. 大数据开发:精通 Flink/Kafka/Starrocks,熟悉Hadoop、Spark等分布式计算框架。

3. 数仓与建模:深入理解数仓分层理论(ODS/DWD/DWS/ADS),有复杂数据建模与ETL开发经验。

4. 大模型与AI:熟悉主流大模型(如BERT、GPT系列)及训练框架(PyTorch/TensorFlow),了解RAG(autogen)、向量数据库(weavidate/milvus)、MCP、Agent框架的原理与应用。

5. 编程能力:熟练掌握 Python/Java,具备扎实的代码能力与调试技巧。

6. SQL优化:精通SQL语法及性能调优,熟悉索引设计、查询计划分析及执行优化。

6. 具备从业务需求中抽象数据模型的能力,能通过数据洞察推动业务增长或效率提升。

7. 学习能力强,能快速掌握新技术并应用于实际场景。

8. 良好的沟通能力与团队协作精神,适应高节奏、高挑战的工作环境。

公司地点:深圳南山区先健科技大厦18楼

公司简介:

职位发布者:曹经理

深圳市中兴视通科技有限公司

融资阶段:

公司规模:

相似职位: