岗位职责:
1.负责大数据平台建设和海量数据ETL工作,包括数据清洗、加工、统计建模、模型验证等;
2.负责理解业务并提炼需求,配合业务部门提供大数据分析支持;
3.负责快速定位并解决大数据技术问题。
岗位要求:
1.有3年以上的系统开发经验。熟练掌握大数据生态技术栈,具备丰富的Hadoop、Hive、Hbase、Spark、Flink、数据湖等大数据工具应用和开发经验;
2.熟悉Python、Java、Scala、Shell等其中一种开发语言;
3.具备扎实的SQL功底,了解不同架构下的SQL执行原理,善于性能调优;
4.熟悉数据仓库的建模方法,具备离线或实时数仓的开发经验;
5.熟悉Kafka、ElaticSearch、Clickhouse、Sqoop、Datax等组件;
6.具备较强的责任心、良好沟通能力和团队协作精神,能与产品经理、测试人员等团队成员紧密合作,具有较强的持续学习能力和问题解决能力。