大数据运维工程师

【职位概述】

负责维护和优化公司的大数据平台，确保数据的准确性、可用性和安全性。通过对数据模型的深入理解，优化数据处理流程，提高数据质量。

【主要职责】

1、监控和维护大数据平台的稳定性和性能，包括但不限于Hadoop、Spark、Hive等。

2、管理和优化数据存储解决方案，确保数据的高可用性和灾难恢复能力。

3、与数据科学家和分析师合作，理解数据需求，优化数据模型和数据流。

4、定期进行数据质量检查和数据清洗，确保数据的准确性和一致性。

5、编写和维护数据相关的脚本和自动化工具，提高运维效率。

6、跟踪和分析大数据平台的日志，及时发现并解决潜在的问题。

7、参与数据安全策略的制定和实施，确保数据的安全性和合规性。

8、编写技术文档，为团队成员提供技术支持和培训。

【基本要求】

1、计算机科学、信息技术或相关专业，统招全日制本科及以上学历。

2、熟悉Linux操作系统和Shell脚本编程。

3、熟悉至少一种大数据技术栈，如Hadoop、Spark、Flink等。

4、熟悉SQL和NoSQL数据库，如MySQL、MongoDB、Cassandra等。

5、熟悉数据仓库和数据湖的概念和架构。

6、熟悉数据安全和隐私保护的相关法规和最佳实践。

【加分项】

1、对数据敏感，能够快速理解和分析复杂的数据模型。

2、有使用机器学习或人工智能技术处理数据的经验。

3、有中大型分布式系统设计和优化的经验。

4、有云平台（如AWS、Azure、Google Cloud）的运维经验。

公司地点：深圳阳光科创中心深圳南山区阳光科创中心B座1205