岗位职责:
1、设计、构建和维护高效、可靠和复杂的ETL管道,以处理和分析来自不同来源的大量数据。
2、开发和增强我们的数据湖库,提高各部门的数据质量,并为分析师构建自助服务工具。
3、定义、构建和拥有可信的、受管理的、基于维度建模的数据存储库的数据架构。
4、与包括数据科学家在内的跨职能团队合作,协助在生产环境中部署和监控机器学习模型。
5、帮助数据科学家开发和维护ML API服务,以无缝集成到公司的基础设施中。
6、应用实时、流和批处理概念的知识来优化模型性能和数据处理。
7、参与代码和设计审查,以保持高开发标准。
岗位要求:
1、计算机科学、数据科学或相关定量领域的学士/硕士学位。
2、熟练掌握Python和软件工程。
3、数据工程师经验丰富,对SQL和大数据技术有扎实的理解。
4、拥有Docker和Kubernetes等容器化和编排技术的专长。
5、对向量存储、数据库和数据仓储概念有一定的了解。
6、具有使用 Flask 或 FastAPI部署和监控ML API服务的经验。
7、强劲的生产力