大数据开发工程师(数据治理) 上海元方科技股份有限公司 南宁 6-10k*12薪
学历要求:本科 工作经验:1-3年
岗位职责:
1、从各种数据源中提取数据,清洗和转换数据以确保数据的一致性和质量;
2、负责将数据存储到适当的数据仓库或数据库中,维护和管理数据存储系统,确保数据的安全性和可靠性;
3、开发和维护数据处理流程,使用大数据处理工具(如Hadoop、Spark等)进行数据分析,提供有价值的见解;
4、设计和实现ETL(提取、转换、加载)流程,将原始数据转换为可用于分析和报告的格式;
5、维护数据仓库的性能和稳定性,监控数据仓库的健康状况,并及时解决问题;
6、确保数据的安全性,遵守数据隐私法规和合规性要求,保护敏感信息;
7、创建数据可视化报告,以便业务团队能够理解数据并做出决策;
8、提供技术支持,解决数据相关的问题,协助其他团队成员利用数据;
9、记录数据处理流程和数据结构,编写文档以支持数据开发项目。
任职要求:
1、计算机科学、数据科学、信息技术或相关领域的本科学位;
2、要求1年以上相关工作经验,包括数据提取、清洗、数据处理和分析;
3、熟练掌握编程语言,如Java、Python、Scala等,能够编写和维护数据处理脚本;
4、有1年以上的大数据技术知识和经验,包括Hadoop、Spark、Hive、Kafka等的使用;
5、了解关系型数据库和NoSQL数据库,具备SQL查询和数据建模能力;
6、熟悉数据仓库架构和设计,如数据仓库星型模型和雪花模型;
7、有经验使用ETL工具,如Apache Nifi、Talend、或其他类似工具;
8、熟悉数据可视化工具,如Tableau、Power BI等;
9、良好的沟通和团队合作能力,能够与非技术人员合作,解释数据和报告;
10、具备解决问题的能力,能够快速识别和解决数据处理和数据质量问题;
11、愿意不断学习新的数据技术和工具,跟随行业发展。