Confluent HDFS Sink Connector:如何配置自定义 hadoop 用户和组?

Confluent HDFS Sink Connector: How to configure custom hadoop user and group?

我们目前在 docker 容器中使用 Confluent HDFS Sink Connector 平台将数据从 Kafka(单独的 Kafka 集群)写入 HDFS(单独的 Hadoop 集群)。默认情况下,连接器平台使用 root 用户和 wheel[ 将数据写入 HDFS =17=]组。 我如何配置连接器以使用特定的 hadoop user/group?我需要在 docker 中设置环境变量吗? 谢谢。

Docker 容器 运行 中的 Java 进程作为 root。

您需要使用自己的用户帐户创建自己的容器,或者 运行 以其他方式将 Connect Workers 作为不同的 Unix 帐户。

您可以尝试设置 HADOOP_IDENT_USERHADOOP_USER_NAME 环境变量,但我认为这些仅由 Hadoop 脚本提取,而不是 Java API

请记住,如果您不使用 Kerberized 集群,Hadoop 中的用户帐户并不重要