岗位职责
1.TCHouse是腾讯云商业级云原生数据湖仓,为腾讯云客户和腾讯内部业务提供全场景、一体化的数据智能分析服务;开放的生态兼容,智能化计算引擎,超大规模可靠存储,以及云原生架构,赋能客户完美挖掘数据价值;
2.负责构建TCHouse智能优化器的核心能力,完善优化器Framework,打磨CBO/CRO/CHO工程实现,优化分布式查询计划,探索learnedoptimizer;
3.负责构建TCHouse离在线一体的极限速度分布式计算引擎,完善MPP+DAG融合计算引擎和智能优化技术,优化全并行计算效率、内存计算;
4.负责构建TCHouse超大规模智能可靠存储,优化云原生数据湖智能管理,实现OTFs极致性能优化,研发高效多级存储以及数据缩减等高性价比存储技术;
5.负责构建TCHouse智能云原生统一平台,实现容器化、秒级弹性、租户级资源隔离等云原生集群基础能力,研发超大规模集群自治、智能调度以及统一纳管能力,实现统一分布式元数据管理;
6.负责构建TCHouse连接、入仓、查询等多模态接入能力,对接业界DMS、BI、ETL、DTS等相关生态集成,实现超高性能入仓;
7.负责TCHouse架构持续演进以及极致工程技术落地,跟踪DataInfra前沿软硬件技术,挖掘和推动落地。
岗位要求
1.熟练掌握C/C++或者Go语言、数据结构和操作系统等基础知识,熟悉复杂软件工程开发流程;
2.追求极致,对技术充满激情,对新技术有敏说的洞察力,具备在压力下解决复杂问题的能力;
3.熟悉优化器相关理论和工程实现,对于优化器的可预测性、鲁棒性和有效性有实践经验,包括但不限于:计划缓存、计划管理、统计信息收集、代价模型、复杂查询优化,自适应查询等;
4.熟悉大规模分布式计算,有在线、离线计算引擎的研发经验,对于数据仓库常用算子有实现及优化经验,熟悉Compilation/Vectorization/Prefetch/Pipeline等常用优化技术;
5.熟悉大规模存储系统架构,有高性能存储引擎、分布式存储集群管理、分布式缓存等研发和运维经验,熟悉OTFs、行列混存、索引、事务以及数据缩减等技术;
6.熟悉Kubernetes、Docker等相关技术,有大规模分布式集群管理平台和产品化经验,熟悉分布式元数据架构以及工程实现;
7.熟悉HTTP/MySQL/PostgreSQL等通信协议,有网络通信项目开发经验;熟悉Parquet/ORC/Iceberg/Spark/Flink/DataX等大数据生态组件的应用及优化。
腾讯以技术丰富互联网用户的生活。
通过通信及社交平台微信和 QQ 促进用户联系,并助其连接数字内容和生活服务,尽在弹指间。
通过高效广告平台,协助品牌和市场营销者触达数以亿计的中国消费者。
通过金融科技及企业服务,促进合作伙伴业务发展,助力实现数字化升级。
我们大力投资于人才队伍和推动科技创新,积极参与互联网行业协同发展。
腾讯于 1998 年11月在中国深圳成立,2004 年6月在香港联合交易所主板上市。