Java研发专家-大数据方向

岗位描述:

负责公司大数据平台的架构设计、开发与优化;

负责数据处理流程的设计与实现,确保数据处理的高效性和可靠性;

参与SaaS产品中的数据分析相关功能设计与开发;

负责性能优化、架构升级、稳定性提升、高可用保证等一系列攻坚工作。

岗位要求:

5年及以上Java开发经验,具有大数据相关项目经验;

Java基础扎实,理解I/O、反射、多线程等核心概念;

精通Hadoop生态系统,包括HDFS、MapReduce、YARN等组件;

熟练掌握Spark、Flink等实时流处理框架,有实际项目经验;

熟悉常见的NoSQL数据库(如MongoDB、HBase、Cassandra等)并了解其应用场景;

熟练使用分布式计算框架,了解分布式系统的设计原理;

具备数据建模能力,熟悉数据仓库设计和实现;

熟悉主流消息队列(如Kafka、RabbitMQ等)的原理和使用。

加分项:

有数据湖相关实践经验(Delta Lake、Iceberg等);

熟悉机器学习框架(如TensorFlow、PyTorch)和基本算法;

具有大规模数据处理平台架构设计经验;

熟悉Docker、K8s等容器技术,有大数据环境容器化部署经验;

参与过开源项目或有技术博客输出;

具有数据治理、数据安全相关经验。

公司地点:杭州杭州芯翼科技有限公司

公司简介:

职位发布者:沈女士

杭州芯翼科技有限公司

融资阶段:

公司规模:20~99人

相似职位: