烟台软件高级大数据专家 【 烟台 】

岗位职责:

1.负责大数据应用产品的代码研发、重构和优化;

2.在技术深度、架构设计、数据处理能力和业务敏感性之间保持良好的平衡;

3.关注并研究大数据生态的前沿技术,推动产品技术革新;

4.能够为企业提供全方位的数据支撑和创新驱动力。

任职要求:

1.精通至少一种编程语言(如 Java、Python、Scala),熟悉其在大数据生态系统中的应用。掌握脚本语言(如 Shell、Bash),能够编写自动化脚本进行数据处理和运维。

2.深入理解操作系统、计算机网络和分布式系统原理。熟悉常见的数据结构和算法,能够高效处理大规模数据。

3.熟练使用关系型数据库(如 MySQL、PostgreSQL)及优化技巧。熟悉 NoSQL 数据库(如 HBase、Cassandra、MongoDB)和列式存储(如 Parquet、ORC)的特点及适用场景。备数据建模能力,能够针对业务需求设计高效的数据存储方案。

4.掌握大数据技术栈。精通 Hadoop 生态(HDFS、YARN、MapReduce)。熟练使用 Spark、Flink 等分布式计算框架,能够实现高效的数据处理。熟悉批处理与流处理架构,能够灵活应用场景优化计算性能。熟悉数据采集工具(如 Kafka、Flume、Sqoop),能够设计高效的数据流动方案。熟练掌握数据仓库(如 Hive、ClickHouse、Snowflake)的架构和查询优化方法。深刻理解分布式文件系统(如 HDFS、Ceph)的设计原理与应用。熟悉存储优化技术(如冷热数据分层存储、多副本策略、数据压缩等)。

5.良好的数据分析与挖掘能力。精通 SQL,能够编写高效、复杂的查询语句。具备数据清洗、转换和特征工程的能力,熟悉 ETL 流程及优化技巧。熟悉机器学习和统计学基本概念,能够使用常见工具(如 Pandas、Scikit-learn)进行数据分析与建模。

6.具备分布式系统设计与性能优化能力。熟悉 CAP 理论、数据一致性和分布式事务处理,能够设计高可用、高吞吐的系统架构。能够根据业务需求进行合理的技术选型(如 Lambda 架构、Kappa 架构)。优化分布式计算任务的性能(如 Spark Shuffle 调优、分区策略优化)。熟悉集群资源管理和任务调度工具(如Kubernetes、YARN)。

7.具有 DevOps 实践经验,熟悉 CI/CD 工具(如 Jenkins、GitLab CI),能够构建大数据开发与部署流水线。掌握容器化技术(如 Docker)和大数据环境的容器化部署。熟悉大数据集群监控工具(如 Prometheus、Grafana),能够快速定位和解决性能瓶颈。

8.具备强烈的业务敏感性,能够根据业务需求设计高效的数据处理流程和分析模型。善于在数据中发现价值,并提供可行的技术解决方案支持业务决策。

9.良好的创新与解决问题能力,善于分析业务场景,主动发现优化点并提出技术解决方案。

10.能与团队紧密协作,跨部门推动数据平台建设和业务落地。参与过大规模数据处理或实时分析项目,能够展示关键技术突破点和项目成果。

公司地点:烟台烟台市

公司简介:

职位发布者:鲁裕齐

湖北韬齐武企业管理咨询有限公司

融资阶段:不需要融资

公司规模:10000人以上

相似职位: