Data Engineer

• •5-8年开发可扩展的实时数据处理管道的经验,特别是在传感器数据和点击流数据摄取和处理方面。

• •在Apache Flink中拥有深厚的实时流处理专业知识。

• •精通Kafka,熟悉Pulsar或Kinesis等其他流媒体工具。

• •精通Java和Python编程,非常注重低延迟、高性能的编码实践。

• •拥有丰富的大数据基础工具和生态系统经验,包括Hadoop、Hive、Spark、Impala、HBase、Kudu和Redis。

• •对数据序列化格式(如Protocol Buffers、Avro、Parquet)有深入的了解,以实现高效的数据传输和存储。

• •熟悉AWS组件(S3、EMR、Lambda)或类似的云技术栈,具有在云基础设施上部署和管理流数据系统的经验。

• •熟悉Spark Streaming或Nifi作为替代流处理框架。

• •使用Loki、Prometheus、Grafana等工具进行实时监控和警报的经验,以确保系统的可靠性。

• •数据延迟优化和端到端管道性能调优经验。

• •具备敏捷和Scrum开发流程的经验。

• •英语流利(口语和书面语)。

公司地点:上海尚浦中心上海市杨浦区江湾城路 99 号

公司简介:

职位发布者:缪女士

上海孜棠软件有限公司

融资阶段:不需要融资

公司规模:20~99人

相似职位: