大数据开发工程师（数据治理） 上海元方科技股份有限公司 南宁 6-10k*12薪
学历要求:本科 工作经验：1-3年
岗位职责：
1、从各种数据源中提取数据，清洗和转换数据以确保数据的一致性和质量；
2、负责将数据存储到适当的数据仓库或数据库中，维护和管理数据存储系统，确保数据的安全性和可靠性；
3、开发和维护数据处理流程，使用大数据处理工具（如Hadoop、Spark等）进行数据分析，提供有价值的见解；
4、设计和实现ETL（提取、转换、加载）流程，将原始数据转换为可用于分析和报告的格式；
5、维护数据仓库的性能和稳定性，监控数据仓库的健康状况，并及时解决问题；
6、确保数据的安全性，遵守数据隐私法规和合规性要求，保护敏感信息；
7、创建数据可视化报告，以便业务团队能够理解数据并做出决策；
8、提供技术支持，解决数据相关的问题，协助其他团队成员利用数据；
9、记录数据处理流程和数据结构，编写文档以支持数据开发项目。
任职要求：
1、计算机科学、数据科学、信息技术或相关领域的本科学位；
2、要求1年以上相关工作经验，包括数据提取、清洗、数据处理和分析；
3、熟练掌握编程语言，如Java、Python、Scala等，能够编写和维护数据处理脚本；
4、有1年以上的大数据技术知识和经验，包括Hadoop、Spark、Hive、Kafka等的使用；
5、了解关系型数据库和NoSQL数据库，具备SQL查询和数据建模能力；
6、熟悉数据仓库架构和设计，如数据仓库星型模型和雪花模型；
7、有经验使用ETL工具，如Apache Nifi、Talend、或其他类似工具；
8、熟悉数据可视化工具，如Tableau、Power BI等；
9、良好的沟通和团队合作能力，能够与非技术人员合作，解释数据和报告；
10、具备解决问题的能力，能够快速识别和解决数据处理和数据质量问题；
11、愿意不断学习新的数据技术和工具，跟随行业发展。