工作职责
1. 熟悉公司产品, 了解业务需求, 与产品及开发团队紧密合作, 完成业务数据计算及开发工作
2. 应用大数据生态技术, 对产品产生的业务数据以及行为日志等进行ETL, 分析, 计算处理, 获取数据价值, 获取对产品对业务有价值的决策支持数据
3. 参与公司数据中台/数据仓库的建设, 使用大数据技术及平台, 进行数据计算及挖掘, 更好的服务客户及赋能前台
任职要求
1. 3 年以上开发经验, 2 年以上应用开发经验, 2 年以上大数据开发经验, 熟悉Python/Scala/Java语言其中的一种或两种语言
2. 熟悉数据结构及常用算法, 熟悉Linux的常用命令及日常开发使用, 熟悉正则表达式
3. 熟悉RESTful API开发规范及最佳实践, 熟悉主流的RESTful api 开发框架Flask或者Spring
4. 熟悉性能测试以及开发满足高并发的 RESTful API
5. 熟悉常用的Hadoop生态组件Hive, Spark, HBase, 熟悉使用Python或者Scala/Java开发Saprk离线及实时计算.
6. 熟悉ETL, 有在受限时间窗口完成大量异构数据的ETL处理的经验
7. 比较深入的理解 Spark 计算的流程及原理, 熟悉数据计算的优化手段, 有实际的的数据计算优化的工作经验
8. 有强烈的自我驱动力, 对工作有owner意识及工匠精神
9. 能积极主动地对待工作, 具备很好的学习能力、沟通能力及适应能力
加分项:
a. 熟悉Dataworks, MaxCompute, Hologres 等 aliyun 大数据技术组件的数据开发工作
b. 熟悉推荐系统的原理及常规算法, 并有过推荐系统的实际开发建设经验
c .熟悉数据仓库/数据中台的建设思路, 有完整的企业数据仓库/数据中台项目的建设经验