使用 Kafka Streams 在输出中设置时间戳无法进行转换

假设我们有一个变压器（用 Scala 编写）

new Transformer[String, V, (String, V)]() {
  var context: ProcessorContext = _

  override def init(context: ProcessorContext): Unit = {
    this.context = context
  }

  override def transform(key: String, value: V): (String, V) = {
    val timestamp = toTimestamp(value)
    context.forward(key, value, To.all().withTimestamp(timestamp))
    key -> value
  }

  override def close(): Unit = ()
}

where toTimestamp只是一个返回从记录值获取的时间戳的函数。一旦执行，就会出现一个NPE：

Exception in thread "...-6f3693b9-4e8d-4e65-9af6-928884320351-StreamThread-5" java.lang.NullPointerException
    at org.apache.kafka.streams.processor.internals.ProcessorContextImpl.forward(ProcessorContextImpl.java:110)
    at CustomTransformer.transform()
    at CustomTransformer.transform()
    at org.apache.kafka.streams.scala.kstream.KStream$$anon$1$$anon$2.transform(KStream.scala:302)
    at org.apache.kafka.streams.scala.kstream.KStream$$anon$1$$anon$2.transform(KStream.scala:300)
    at 

本质上发生的是ProcessorContextImpl失败于：

public <K, V> void forward(final K key, final V value, final To to) {
    toInternal.update(to);
    if (toInternal.hasTimestamp()) {
        recordContext.setTimestamp(toInternal.timestamp());
    }
    final ProcessorNode previousNode = currentNode();

因为recordContext未初始化（只能由 KafkaStreams 在内部完成）。

这是一个后续问题使用 Kafka Streams 1 设置输出中的时间戳 https://stackoverflow.com/questions/52438161/set-timestamp-in-output-with-kafka-streams

如果您与transformer，你需要确保一个新的Transformer对象创建时TransformerSupplier#get()叫做。 （参见https://docs.confluence.io/current/streams/faq.html#why-do-i-get-an-illegalstateexception-when-accessing-record-metadata https://docs.confluent.io/current/streams/faq.html#why-do-i-get-an-illegalstateexception-when-accessing-record-metadata)

在最初的问题中，我认为这是关于你的context导致 NPE 的变量，但现在我意识到它与 Kafka Streams 内部结构有关。

Scala API 在 2.0.0 中存在一个错误，可能会导致相同的情况Transformer实例被重用（https://issues.apache.org/jira/browse/KAFKA-7250 https://issues.apache.org/jira/browse/KAFKA-7250). I think你遇到了这个错误。稍微重写一下代码应该可以解决问题。请注意，Kafka 2.0.1 和 Kafka 2.1.0 包含修复程序。