【职位概述】
负责维护和优化公司的大数据平台，确保数据的准确性、可用性和安全性。通过对数据模型的深入理解，优化数据处理流程，提高数据质量。
【主要职责】
1、监控和维护大数据平台的稳定性和性能，包括但不限于Hadoop、Spark、Hive等。
2、管理和优化数据存储解决方案，确保数据的高可用性和灾难恢复能力。
3、与数据科学家和分析师合作，理解数据需求，优化数据模型和数据流。
4、定期进行数据质量检查和数据清洗，确保数据的准确性和一致性。
5、编写和维护数据相关的脚本和自动化工具，提高运维效率。
6、跟踪和分析大数据平台的日志，及时发现并解决潜在的问题。
7、参与数据安全策略的制定和实施，确保数据的安全性和合规性。
8、编写技术文档，为团队成员提供技术支持和培训。
【基本要求】
1、计算机科学、信息技术或相关专业，统招全日制本科及以上学历。
2、熟悉Linux操作系统和Shell脚本编程。
3、熟悉至少一种大数据技术栈，如Hadoop、Spark、Flink等。
4、熟悉SQL和NoSQL数据库，如MySQL、MongoDB、Cassandra等。
5、熟悉数据仓库和数据湖的概念和架构。
6、熟悉数据安全和隐私保护的相关法规和最佳实践。
【加分项】
1、对数据敏感，能够快速理解和分析复杂的数据模型。
2、有使用机器学习或人工智能技术处理数据的经验。
3、有中大型分布式系统设计和优化的经验。
4、有云平台（如AWS、Azure、Google Cloud）的运维经验。