【岗位职责】
1.负责项目的需求分析和技术方案设计以及数据开发和维护。
2.参与公司核心数据项目的设计、开发和维护,包括但不限于运营、营销、财务端需求;
3.参与建设统一的数据体系,持续集成相关工具产品,以及搭建大数据业务统一计算层等相关工作;
4.编写高效的ETL流程,实现数据的抽取、转换和加载;开发和优化数据处理算法,提高数据处理效率和准确性;
5.对数据采集、数据融合、数据质量、数据应用链路有深入理解,并能协助业务数据集市建设,搭建业务领域模型;
6.确保数据安全和隐私保护,实施相关的数据治理策略。
【任职要求】
1. 本科以上学历,计算机相关专业优先,5年以上数据开发工作经验;
2. 数据库技术:精通SQL,熟悉Starrock数据库和NoSQL数据库,能够进行复杂查询优化和数据库性能调优;
3.编程语言:熟练使用至少一种数据处理编程语言(如Python、Java、Scala),能够开发复杂的数据处理应用;
4.大数据技术:精通Hadoop生态系统,包括HDFS、MapReduce、Spark等,能够设计和优化大规模数据处理系统;
5.ETL和数据集成:熟练使用ETL工具,能够设计和实现复杂的数据集成流程,开发和维护数据集成平台;
6.数据建模和仓库:掌握数据仓库建模技术,能够设计和实现数据仓库、数据湖等架构;
7.实时数据处理:掌握实时数据处理技术(如Flink、Kafka Streams),能够设计和实现实时数据处理系统;
8.数据质量和治理:了解并能够实施数据质量管理和数据治理方案,确保数据的准确性和一致性;
9.高级分析和机器学习:了解机器学习基础,能够实现预测模型,掌握高级分析技术如时间序列分析、图数据处理等;
10.具备较强的的团队合作能力,有互联网或电商公司工作经验者优先。