我们正在寻找一位经验丰富的大数据工程师,来帮助我们设计和构建公司的数据架构和数据处理流程。你将负责开发、测试和优化大数据系统,以支持我们的模型及业务团队。
主要职责:
设计、构建和维护可扩展、高性能的数据管道,以收集、转换和准备大规模数据进行高级分析。
与业务方和算法工程师合作,理解和实现数据需求。
优化数据提取、转换和加载(ETL)过程,以提高数据质量和效率。
管理和优化数据存储系统,包括关系型数据库和大数据平台。
开发和实施数据治理和安全策略。
职位要求:
计算机科学、信息系统或相关领域的学士学位,或相关工作经验。
至少3年的数据工程或相关领域的工作经验。
熟练掌握Python、SQL或其他相关编程语言。
对Hadoop、Spark、Kafka等大数据处理工具有深入理解和实践经验。
对数据仓库设计和数据建模有深入理解。
出色的问题解决和分析能力,以及良好的团队合作和沟通技巧。
强烈的责任心与主动性,并能自我驱动成长。