工作职责
1.数据仓库开发：设计、搭建并维护数据仓库架构，保证数据高效存储和访问；从多数据源抽取数据，通过 ETL 工具进行清洗、转换和加载，确保数据质量；优化数据仓库性能，满足业务数据分析需求。
2.数据挖掘应用：运用机器学习算法挖掘数据价值；构建预测模型，为决策提供支持；与业务团队合作，将数据挖掘成果应用于实际业务。
3.大数据生产任务维护：核心生产任务保障，集群资源合理化监控，参与夜间电话值班。
技能要求：
1. 2-3 年大数据工作经验，有丰富的数据仓库开发和数据挖掘实践经验。能够独立完成复杂的数据建模任务。
2. 熟悉常用数仓生产及管理工具，能够根据复杂业务逻辑进行高效的 ETL 流程设计与优化；
3. 精通 SQL 语言，能够编写复杂的关联查询、子查询以及存储过程，具备数据库性能调优经验；熟悉 Hadoop、Spark(PySpark)、Flink等大数据框架，能够在集群环境下进行分布式数据处理。
4. 掌握数据挖掘的基本算法，如聚类、分类、关联规则挖掘，并能根据实际问题选择合适的算法进行应用；具备扎实的统计学基础，能够运用假设检验、回归分析等统计方法进行数据分析和验证。
5. 业务需求分析能力，能够深入与业务团队沟通，运用需求分析工具和方法，准确理解业务需求，将其转化为可实现的技术方案，制定详细的数据仓库和数据挖掘项目计划。