大数据ETL工程师
岗位职责:
1、使用Kettle从各个源系统将数据接入至数据仓库,根据业务场景及数据量等因素确定存储规则,减少不必要的数据冗余,采用AWS S3分层存储。
2、根据客户的需求处理数据和进行数据建模,将数据输入数据集市(Sql server,Mysql等)或接口。
保证BI端或下游数据接收的准确性和及时性。
3、监控ETL作业运行,进行SQL优化,提升运行性能。
4、日常数据技术支持与运维,如手工取数,数据监控,ETL文档。
岗位要求:
1、计算机科学或相关专业本科及以上学历。
2、至少5年工作经验。
3、扎实的SQL语言和数据库知识(Hive、 SQLServer 、MySQL、MongoDB)。
4、有AWS数据平台开发经验优先考虑。
5、3年以上的Kettle 经验。
6、对数据仓库概念(事实、维度、数据模型、星型模式等)有很强的理解力。
7、具有团队精神和良好的个人技能。 积极主动,工作态度积极。
公司地点:上海浦东新区张江国创中心1幢(西)二楼
公司简介:
一般项目:技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广;软件外包服务;软件开发;软件销售;计算机软硬件及辅助设备零售;人工智能应用软件开发;人工智能基础软件开发;网络与信息安全软件开发;电子产品销售;物联网技术服务;物联网应用服务;物联网设备销售;工业互联网数据服务;大数据服务;互联网数据服务;劳务服务(不含劳务派遣);人力资源服务(不含职业中介活动、劳务派遣服务);自费出国留学中介服务;社会经济咨询服务;环保咨询服务;安全咨询服务;信息咨询服务(不含许可类信息咨询服务);认证咨询;物业服务评估;税务服务;财务咨询;法律咨询(不含依法须律师事务所执业许可的业务)。(除依法须经批准的项目外,凭营业执照依法自主开展经营活动)许可项目:出版物零售;出版物互联网销售;出版物批发。(依法须经批准的项目,经相关部门批准后方可开展经营活动,具体经营项目以相关部门批准文件或许可证件为准)
职位发布者:龙经理
兼职小行家(上海)科技服务有限公司
融资阶段:
公司规模:20~99人
相似职位: