0. 负责工程项目管理领域产品的数据架构规划、设计、评估和检验,支撑产品在数据技术选型、数据架构规划、数据服务设计等方面的业内前瞻性和领先型;
1. 负责实时、离线数据分析处理、日志数据采集及通用平台的建设,以及创新性技术方案的开发与验证
2. 负责大数据平台资源规划、权限控制、运维架构设计,为各产品业务提供稳定、高效、安全的运行环境;
3. 负责基于海量数据采集、存储、治理及服务方案的技术选型及架构设计;
4. 负责产品研发过程中的技术架构设计、数据处理逻辑等方面文档的沉淀与积累;
5. 有多云平台的使用经验,熟悉阿里云、华为云等公有云,拥有容灾建设、重大故障恢复、自动化运维建设等项目经验;
6. 从架构和技术层面参与建设数据仓库,包括元数据管理、数据质量、数据管理、性能优化和调优。
7. 兼任高级Java工程师
岗位要求:
1. 具备8年以上大型互联网公司或大型IT企业大数据开发以及架构运维经验;
2. 本科及以上学历,计算机、软件⼯程、信息技术、数学等相关专业;
3. 熟悉Hadoop、Spark生态开源技术栈,有数据中台、数仓、数据治理能力;
4. 熟练使用Flink、Spark等计算框架解决复杂场景计算问题并有性能优化的能力;
5. 熟悉云产品大数据组件、开源大数据引擎、主流算法包,以及ToB业务数据开发经验优先;
6. 了解云原生技术,对k8S、Docker等容器技术有实际使用经验优先。