岗位职责
1. 数据采集与集成：从多样化的数据源（数据库、物联网设备、API、日志文件、第三方平台等）收集数据，使用ETL（Extract，Transform，Load）工具（如Apache NiFi、Kettle）或编写自定义脚本，完成数据的抽取、清洗、转换与加载工作，确保数据准确、完整且符合后续处理要求。
2. 数据存储与管理：设计和管理数据存储方案，根据数据特性和业务需求，选择合适的数据库系统（如关系型数据库MySQL、PostgreSQL，非关系型数据库MongoDB、Redis，数据仓库Snowflake、BigQuery，分布式文件系统HDFS等），优化数据库性能，保障数据的高效存储和快速访问。
3. 数据处理与计算：搭建和维护数据处理流水线，运用分布式计算框架（如Apache Hadoop、Spark、Flink）进行大规模数据的实时或离线处理，实现数据聚合、分析、建模等操作，提升数据处理效率和质量。
4. 数据平台建设与维护：参与数据平台（如数据湖、数据仓库）的规划、建设和优化工作，保障平台稳定运行；监控数据处理流程，及时发现并解决数据传输、存储和计算过程中的问题，确保数据处理的及时性和准确性。
5. 技术协作与支持：与数据科学家、数据分析师紧密合作，理解其数据需求，提供符合业务场景的数据解决方案；与软件开发、运维团队协同工作，推动数据相关功能在业务系统中的集成和应用。
6. 数据安全与合规：遵循数据安全与隐私保护规范，落实数据加密、访问控制等安全措施，确保数据在全生命周期内的安全性；保障数据处理流程符合相关法律法规和行业标准。
任职要求
教育背景
1. 计算机科学、软件工程、数据科学、信息管理等相关专业，本科及以上学历；具备扎实的计算机理论基础。
专业技能
1. 数据处理技术：精通至少一种ETL工具，熟练使用SQL进行复杂的数据查询、转换和操作；深入掌握至少一种分布式计算框架（Hadoop/Spark/Flink），熟悉其核心原理和编程模型。
2. 数据库知识：熟悉多种数据库系统（关系型与非关系型）的架构和特性，具备数据库设计、性能调优、故障排查能力；了解数据仓库建模理论（如维度建模、星型模型）。
3. 编程语言：熟练掌握Python或Java编程语言，具备良好的代码编写习惯和调试能力；熟悉Shell脚本编写，可用于自动化数据处理任务。
4. 数据平台与工具：了解数据湖、数据仓库的架构和建设流程；熟悉云平台（如AWS、Azure、阿里云）上的数据服务（如AWS Glue、阿里云DataWorks）者优先。
5. 其他技能：具备一定的网络知识，了解数据传输协议；关注行业新技术动态，愿意学习和探索大数据领域的新兴技术和工具。
作为亚太地区领先的AI和数据智能供应商，雅通专注于以客户为中心的思维方式，为不同行业打造适用的AI驱动产品。雅通在营销、销售和供应链等多个场景下落地不同的AI应用，赋能客户算法自动化，降本增效，已达到“将前沿洞察算法化”的愿景。
雅通的核心价值在于用AI创造价值。作为独立的AI应用产品服务商，雅通与行业头部企业合作，共同打造基于行业需求的AI产品。团队由热情且经验丰富的AI专家、数据科学家和行业专业人士组成，结合前沿技术和深入行业洞察力，能够提供创新高效的解决方案，帮助企业在竞争激烈的市场中脱颖而出。
作为一个充满活力和创新精神的团队，我们秉承着追求卓越和合作共赢的理念。我们每一位团队成员都被鼓励表达自己的想法，提出改进建议，并与同事共同成长。在雅通数据科技，我们重视团队合作，鼓励员工持续学习和提升，以应对不断变化的市场挑战。
我们正在寻找有激情、有创造力的人才加入我们的团队，共同探索数据科技的未来，实现个人职业发展目标。如果您对数据科技领域充满热情，渴望挑战自我，并希望与一群优秀的人才共同成长，那么欢迎您加入雅通数据科技（上海）有限公司，让我们一起开创美好未来！
更多信息点击官网：http://www.atom-intelligence.com