将 parquet-tools 与 Kerberos CDH 结合使用

Using parquet-tools with Kerberos CDH

我正在尝试从 parquet 文件中发现模式。 我尝试使用代码:

parquet-tools schema hdfs://<MY_IP>:8020//<PATH_TO_PARQUER>/<PARQUET_FILE_NAME>.parquet

但是我得到了错误:

SIMPLE authentication is not enabled.  Available:[TOKEN, KERBEROS]

有谁知道如何在 Kerberized 环境中使用 parquet-tools。我有带权限的密钥表,我在 knit 命令之前 运行。

hadoop.security.authentication 的配置可以采用值 SIMPLEKERBEROS.

从你得到的错误来看,很明显它设置为 KERBEROS。

  1. 确保在 kinit 之后 运行 它。

  2. 如果它不起作用,您必须检查您的 core-site.xmlhadoop-policy.xml 文件是否正确配置。