岗位职责:
负责公司数据底座关键平台的设计和开发,如数据建模平台,数据治理平台,统一数据服务平台等,并结合大模型提升数据生成效率和质量
任职要求:
1.3年以上大数据平台开发相关工作经验,具备数据治理,即数据质量、元数据管理和相关行业的数据标准的能力和经验;
2.Java基础扎实,对多线程、数据结构、GC等有深刻认识和实战经验;
3.熟悉Spring、Spring MVC、MyBatis、Dubbo等框架,熟悉常见的设计模式;
4.熟悉大数据产品和技术,对数据采集及集成、数据建模、数据开发、数据治理、数据分析等大数据领域有实战经验;
5.熟悉大数据系统生态圈包括但不限于HDFS、YARN、Hive、HBase、Spark、Flink等,了解分布式系统设计和运行的原理;
6.能够对Hadoop集群等分布式计算和存储引擎进行调优和技术升级,实现高性能的海量数据查询能力和动态扩缩容的能力;
7.有算法开发平台经验,算法工程化,ML工程化经验优先。掌握Pytorch、TensorFlow、Mindspore深度学习框架优先;
8.具备优秀的业务建模能力。熟悉 C++、Python 等语言优先