• •5-8年开发可扩展的实时数据处理管道的经验,特别是在传感器数据和点击流数据摄取和处理方面。
• •在Apache Flink中拥有深厚的实时流处理专业知识。
• •精通Kafka,熟悉Pulsar或Kinesis等其他流媒体工具。
• •精通Java和Python编程,非常注重低延迟、高性能的编码实践。
• •拥有丰富的大数据基础工具和生态系统经验,包括Hadoop、Hive、Spark、Impala、HBase、Kudu和Redis。
• •对数据序列化格式(如Protocol Buffers、Avro、Parquet)有深入的了解,以实现高效的数据传输和存储。
• •熟悉AWS组件(S3、EMR、Lambda)或类似的云技术栈,具有在云基础设施上部署和管理流数据系统的经验。
• •熟悉Spark Streaming或Nifi作为替代流处理框架。
• •使用Loki、Prometheus、Grafana等工具进行实时监控和警报的经验,以确保系统的可靠性。
• •数据延迟优化和端到端管道性能调优经验。
• •具备敏捷和Scrum开发流程的经验。
• •英语流利(口语和书面语)。