优先考虑有爬虫经验的大数据工程师、感谢投递、
职位描述:
1、紧跟大数据处理前沿技术、包括但不限于数据采集、数据存储、数据管理、数据质量提升、数据处理性能优化等等、并及时有效地将前沿技术应用到实际工作中;
2、负责构建能够支撑海量用户访问的互联网服务的大数据中台方案 包括数据存储和处理架构等等、、并基于开源和商业数据库/大数据产品进行实施;
3、深入了解用户业务场景和业务数据、并根据业务需求对不同来源的同构或者异构业务数据进行深入理解、ETL 提取、转化、加载、、以及数据建模、并有效存储和管理数据、形成高质量数据资产;
4、针对大数据系统进行性能和易用性调优、根据应用需求完成数据处理工作、为后续的数据智能分析和应用开发工作提供高质量的数据基础和方便的访问方式;
5、持续维护大数据平台系统的日常运行和监控、确保系统稳定高效运转;
任职要求:
1、计算机、软件工程、信息管理等相关专业、本科或以上学历、硕士学历及以上优先;
2、精通结构化数据库和数据仓库、精通SQL语言、对Doris、Clickhouse等分布式数据仓库有三年以上使用经验;有DBA工作经验优先;
3、精通Hadoop+HBase+Hive、ElasticSearch、Milvus等NoSQL数据库、并具备三年以上实战经验;
4、精通Java/python/Scala语言中的一种或多种、具备三年以上的编程经验;熟练使用Windows和Linux操作系统;
5、对数据库上下游相关技术 计算引擎、缓存、消息中间件、负载均衡等等、有深入了解和实战经验、包括但不限于:Spark、MapReduce、Storm、Kafka、Nginx等等;
6、具有丰富的后台大数据服务开发和实施经验、包括系统架构设计与性能调优经验;有专利领域工作背景者优先;
7、优秀的逻辑分析能力和学习能力、思路清晰、善于思考;优秀的独立分析和解决问题能力、在工作中善于抓住重点和抽象总结;
8、责任心强、具有团队合作精神、良好的语言表达能力和沟通能力;
9、有python编程基础且有爬虫经验的优先;
薪资待遇
本研发中心可以提供包括薪资和期权在内的具有行业竞争力的待遇、具体情况面谈;