职级:T9-T13
base地:深圳/北京/上海/成都/杭州
方向:优化器、计算、存储
岗位职责
1、TCHouse是腾讯云商业级云原生数据湖仓,为腾讯云客户和腾讯内部业务提供全场景、一体化的数据智能分析服务;开放的生态兼容,智能化计算引擎,超大规模可靠存储,以及云原生架构,赋能客户完美挖掘数据价值。
2、负责构建TCHouse智能优化器的核心能力,完善优化器Framework,打磨CBO/CRO/CHO工程实现,优化分布式查询计划,探索 learned optimizer。
3、负责构建TCHouse离在线一体的极限速度分布式计算引擎,完善MPP+DAG融合计算引擎和智能优化技术,优化全并行计算效率、内存计算。
4、负责构建TCHouse超大规模智能可靠存储,优化云原生数据湖智能管理,实现 OTFs 极致性能优化,研发高效多级存储以及数据缩减等高性价比存储技术。
5、负责构建TCHouse智能云原生统一平台,实现容器化、秒级弹性、租户级资源隔离等云原生集群基础能力,研发超大规模集群自治、智能调度以及统一纳管能力,实现统一分布式元数据管理。
6、负责构建TCHouse连接、入仓、查询等多模态接入能力,对接业界DMS、BI、ETL、DTS等相关生态集成,实现超高性能入仓。
7、负责TCHouse架构持续演进以及极致工程技术落地,跟踪Data Infra前沿软硬件技术,挖掘和推动落地。
岗位要求
1、熟练掌握C/C++或者Go语言、数据结构和操作系统等基础知识,熟悉复杂软件工程开发流程。
2、追求极致,对技术充满激情,对新技术有敏说的洞察力,具备在压力下解决复杂问题的能力。
3、熟悉优化器相关理论和工程实现,对于优化器的可预测性、鲁棒性和有效性有实践经验,包括但不限于:计划缓存、计划管理、统计信息收集、代价模型、复杂查询优化,自适应查询等。
4、熟悉大规模分布式计算,有在线、离线计算引擎的研发经验,对于数据仓库常用算子有实现及优化经验,熟悉Compilation/Vectorization/Prefetch/Pipeline等常用优化技术。
5、熟悉大规模存储系统架构,有高性能存储引擎、分布式存储集群管理、分布式缓存等研发和运维经验,熟悉OTFs、行列混存、索引、事务以及数据缩减等技术。
6、熟悉Kubernetes、Docker等相关技术,有大规模分布式集群管理平台和产品化经验,熟悉分布式元数据架构以及工程实现。
7、熟悉HTTP/MySQL/PostgreSQL等通信协议,有网络通信项目开发经验;熟悉Parquet/ORC/Iceberg/Spark/Flink/DataX等大数据生态组件的应用及优化。
加分项
1、有 Snowflake、BigQuery、Redshift、Databricks等产品研发经验
2、深度参与Starrocks、Doris、Spark、Impala等大数据类开源项目开发经验
3、有SIGMOD、VLDB、ATC、OSDI、 SOSP、FAST 等会议论文
4、有超大规模数据分析、数据库平台产品的0-1成功构建经验
腾讯以技术丰富互联网用户的生活。
通过通信及社交平台微信和 QQ 促进用户联系,并助其连接数字内容和生活服务,尽在弹指间。
通过高效广告平台,协助品牌和市场营销者触达数以亿计的中国消费者。
通过金融科技及企业服务,促进合作伙伴业务发展,助力实现数字化升级。
我们大力投资于人才队伍和推动科技创新,积极参与互联网行业协同发展。
腾讯于 1998 年11月在中国深圳成立,2004 年6月在香港联合交易所主板上市。