Cloudera 上的 Kafka - 测试=TOPIC_AUTHORIZATION_FAILED

Question

我们刚刚从 CDH 5.3.6 升级到 5.10.0，在尝试写入 Kafka 主题时开始出现错误。我们对所有内容都有默认设置，未启用 SSL 或 Kerberos 身份验证。当使用控制台生产者写入我的主题之一时，出现此错误：

/usr/bin/kafka-console-producer --broker-list=myhost1.dev.com:9092,myhost2.dev.com:9092 --topic test

17/03/06 21:00:57 INFO utils.AppInfoParser: Kafka version : 0.10.0-kafka-2.1.0
17/03/06 21:00:57 INFO utils.AppInfoParser: Kafka commitId : unknown
x
17/03/06 21:00:59 WARN clients.NetworkClient: Error while fetching metadata with correlation id 0 : {test=TOPIC_AUTHORIZATION_FAILED}

查看 /var/log/kafka/，我看到了一堆这样的异常：

2017-03-06 21:00:26,964 WARN org.apache.sentry.provider.common.HadoopGroupMappingService: Unable to obtain groups for ANONYMOUS
java.io.IOException: No groups found for user ANONYMOUS
    at org.apache.hadoop.security.Groups.noGroupsForUser(Groups.java:190)
    at org.apache.hadoop.security.Groups.getGroups(Groups.java:210)
    at org.apache.sentry.provider.common.HadoopGroupMappingService.getGroups(HadoopGroupMappingService.java:60)
    at org.apache.sentry.provider.common.ResourceAuthorizationProvider.getGroups(ResourceAuthorizationProvider.java:167)
    at org.apache.sentry.provider.common.ResourceAuthorizationProvider.doHasAccess(ResourceAuthorizationProvider.java:97)
    at org.apache.sentry.provider.common.ResourceAuthorizationProvider.hasAccess(ResourceAuthorizationProvider.java:91)
    at org.apache.sentry.kafka.binding.KafkaAuthBinding.authorize(KafkaAuthBinding.java:212)
    at org.apache.sentry.kafka.authorizer.SentryKafkaAuthorizer.authorize(SentryKafkaAuthorizer.java:63)
    at kafka.server.KafkaApis$$anonfun$kafka$server$KafkaApis$$authorize.apply(KafkaApis.scala:321)
    at kafka.server.KafkaApis$$anonfun$kafka$server$KafkaApis$$authorize.apply(KafkaApis.scala:321)
    at scala.Option.map(Option.scala:146)
    at kafka.server.KafkaApis.kafka$server$KafkaApis$$authorize(KafkaApis.scala:321)
    at kafka.server.KafkaApis$$anonfun.apply(KafkaApis.scala:702)
    at kafka.server.KafkaApis$$anonfun.apply(KafkaApis.scala:702)
    at scala.collection.TraversableLike$$anonfun$partition.apply(TraversableLike.scala:314)
    at scala.collection.TraversableLike$$anonfun$partition.apply(TraversableLike.scala:314)
    at scala.collection.immutable.Set$Set1.foreach(Set.scala:94)
    at scala.collection.TraversableLike$class.partition(TraversableLike.scala:314)
    at scala.collection.AbstractTraversable.partition(Traversable.scala:104)
    at kafka.server.KafkaApis.handleTopicMetadataRequest(KafkaApis.scala:702)
    at kafka.server.KafkaApis.handle(KafkaApis.scala:79)
    at kafka.server.KafkaRequestHandler.run(KafkaRequestHandler.scala:60)
    at java.lang.Thread.run(Thread.java:745)

我一直在寻找解决方案，但到目前为止一无所获。我是否需要将匿名用户分配给某处的某些组？我可以在 CDH 5.3.6 中向我的主题写消息，但升级过程中似乎出了点问题。

只是想在升级到 CDH 5.10.0 后让 helloWorld/Quickstart 示例再次在我们的 DEV Kafka 上运行。

--------------------临时解决方案---

在cloudera manager 5.10中kafka配置中有一个super.users属性。将 ANONYMOUS 添加到该列表中，使我能够从我的主题中产生和消费。

我已经在 /opt/cloudera/parcels/KAFKA-2.1.0-1.2.1.0.p0.115/etc/kafka/conf.dist/server.properties 中尝试过这样做，但没有效果。所以 Cloudera 必须在别处管理这些值。

Answer 1

Kafka 严格区分身份验证和授权——即使您关闭了 Curb 或 SSL 身份验证，仍然可以通过以下参数打开授权：

authorizer.class.name=kafka.security.auth.SimpleAclAuthorize‌r

这将使 Kafka 为每次访问检查 ACL - 虽然在您的情况下身份验证已关闭，但如果没有 ACL，每个用户都将被评估为 ANONYMOUS 并被拒绝为此用户设置。

您可以从您的配置中删除该设置，这将使 Kafka return 恢复到它原来的、信任的、自我的状态。不过，我不确定您会在 Cloudera Manager 中的哪个位置执行此操作，因此另一种方法是将 ANONYMOUS 添加到 CM 中可用的超级用户列表中。或者当然只是定义一个 ACL 以允许访问 ANONYMOUS.

对于稍后的生产使用，您可能应该设置 SSL 或 Kerberos 并定义适当的 ACL，如果有任何机会从外部访问集群。

Cloudera 上的 Kafka - 测试=TOPIC_AUTHORIZATION_FAILED

Kafka on Cloudera - test=TOPIC_AUTHORIZATION_FAILED

cloudera

apache-kafka

cloudera-cdh

apache-sentry

apache-zookeeper