岗位描述:
负责公司大数据平台的架构设计、开发与优化;
负责数据处理流程的设计与实现,确保数据处理的高效性和可靠性;
参与SaaS产品中的数据分析相关功能设计与开发;
负责性能优化、架构升级、稳定性提升、高可用保证等一系列攻坚工作。
岗位要求:
5年及以上Java开发经验,具有大数据相关项目经验;
Java基础扎实,理解I/O、反射、多线程等核心概念;
精通Hadoop生态系统,包括HDFS、MapReduce、YARN等组件;
熟练掌握Spark、Flink等实时流处理框架,有实际项目经验;
熟悉常见的NoSQL数据库(如MongoDB、HBase、Cassandra等)并了解其应用场景;
熟练使用分布式计算框架,了解分布式系统的设计原理;
具备数据建模能力,熟悉数据仓库设计和实现;
熟悉主流消息队列(如Kafka、RabbitMQ等)的原理和使用。
加分项:
有数据湖相关实践经验(Delta Lake、Iceberg等);
熟悉机器学习框架(如TensorFlow、PyTorch)和基本算法;
具有大规模数据处理平台架构设计经验;
熟悉Docker、K8s等容器技术,有大数据环境容器化部署经验;
参与过开源项目或有技术博客输出;
具有数据治理、数据安全相关经验。