Spring Cloud Stream functionRouter 输出尝试绑定到 Kafka 主题

Question

我正在尝试迁移到 Spring Cloud Stream 的新函数式编程模型，替换像这样的条件 StreamListener 注释

@StreamListener("app-input", condition = "headers['eventName']=='Funded'")

类似

@Bean
fun router() = MessageRoutingCallback {
    when (it.headers["eventName"]) {
        "Funded" -> "funded"
        else -> "ignored"
    }
}
@Bean
fun funded() = Consumer { message: Message<Funded> ->
    ...
}

@Bean
fun ignored() = Consumer { message: Message<*> ->
    ...
}

具有将频道链接到主题的关联属性

spring.cloud.function.definition=functionRouter
spring.cloud.stream.bindings.functionRouter-in-0.destination=MyTopic

我需要这种间接级别，因为有多种 Avro 消息类型都到达 MyTopic，需要反序列化并以不同方式路由

这一切工作得非常愉快，我可以按预期使用和路由消息。然而，以这种方式使用 functionRouter 有一个意想不到的副作用，即当没有可用主题时，它也会尝试将 functionRouter-out-0 绑定到 Kafka，因此应用程序每隔 30 秒就会尝试附加到代理上名为“functionRouter-out-0”的主题，如您所料，因授权错误而失败。

2021-05-06 12:57:55.654 WARN  [screening]                            o.s.c.s.b.k.p.KafkaTopicProvisioner      : No partitions have been retrieved for the topic (functionRouter-out-0). This will affect the health check.
2021-05-06 12:57:56.198 WARN  [screening]                            org.apache.kafka.clients.NetworkClient   : [Producer clientId=producer-3] Error while fetching metadata with correlation id 4 : {functionRouter-out-0=TOPIC_AUTHORIZATION_FAILED}
2021-05-06 12:57:56.199 ERROR [screening]                            org.apache.kafka.clients.Metadata        : [Producer clientId=producer-3] Topic authorization failed for topics [functionRouter-out-0]
2021-05-06 12:57:56.199 ERROR [screening]                            o.s.c.s.b.k.p.KafkaTopicProvisioner      : Failed to obtain partition information
org.apache.kafka.common.errors.TopicAuthorizationException: Not authorized to access topics: [functionRouter-out-0]

所以问题是 a) 我怎样才能阻止 functionRouter-out-0 通道尝试绑定到 Kafka，或者 b) 我还能如何在不需要中间通道的情况下实现这一点？

Spring Cloud Stream event routing functionality autocreates new topic 类似，但从未收到答案。

Answer 1

我认为这是一个错误。如果你想关注它，我打开了一个问题：

https://github.com/spring-cloud/spring-cloud-stream/issues/2168

解决方法是将其指向同一目的地

spring.cloud.function.definition=functionRouter
spring.cloud.stream.bindings.functionRouter-in-0.destination=so67419839
spring.cloud.stream.bindings.functionRouter-out-0.destination=so67419839
spring.cloud.stream.bindings.functionRouter-in-0.group=so67419839

由于代表都是 Consumer 我们实际上不会发送任何东西。

Spring Cloud Stream functionRouter 输出尝试绑定到 Kafka 主题

Spring Cloud Stream functionRouter output attempts to bind to Kafka topic

spring-cloud-stream

spring-cloud-stream-binder-kafka