岗位职责:
1.负责数据平台架构,需求分析,技术选型
2.参与平台大数据采集、清洗、传输、存储、实时计算、离线计算、调度、服务化等设计与落地
3.根据业务需求,提供面向业务的OLAP、报表、数据服务等,支撑业务快速发展
4.深入理解数据安全相关法规及标准,结合云平台业务制定合理的安全规范;
5.编写相关技术文档
任职资格:
1.本科及以上学历,扎实的Java基础,3年以上大数据工作经验
2.熟悉HBase、Redis等NoSQL数据库,熟悉PostgreSQL、Mysql等RDBMS,了解时序数据库更佳
3.持续优化ETL流程及性能,保证数据及时有效产出
4.精通常用大数据处理相关系统,如Hadoop、hive、spark、flink、kafka等,有实时离线数仓的模型设计与落地经验;
5.熟悉大数据体系,对数据采集、消息转发(Kafka等)、数据存储、批流计算等相关组件及技术有较深刻理解;