岗位职责:
1、负责公司大数据产品的架构设计,包含数据收集、数据存储、数据应用,并完成相关架构设计文档的撰写;
2、负责重要特性的分析,输出分析设计文档,对技术方案进行决策;
3、负责对技术方案进行评审决策,指导开发工程师完成模块开发;
4、负责数据产品的研发;
5、积极了解业界发展,研究与跟踪大数据新技术发展方向;
任职要求:
1、具备大型数据利用的生产实战经验;
2、精通数据驱动的理论,设计并生产上线相关数据驱动的产品;
3、熟悉Spark/flink、Hadoop、HBase、Flume、ElasticSearch、Zookeeper、Redis、Kafka、图数据库等主流大数据开源组件:
4、了解传统数据仓库理论及相关ETL工具,例如kettle/datax;
5、至少熟悉PostgreSQL、MySql、Oracle、 Greenplum、doris等数据库中的2种;
6、扎实的Java语言基础,熟悉Java开发工具和调试工具的使用;
7、良好的python语言基础、熟悉python web和掌握pandas、numpy数据分析库的使用;
7、良好的团队协作精神,有能力对团队在软件设计、实现和测试方面进行指导;
8、良好的逻辑分析能力和沟通能力,执行力强、对待工作认真严谨、责任心强、具备出色的学习能力和团队合作精神,有良好的推动能力。