HDP Atlas 中 Hive Managed Table 的沿袭不可见
Lineage is not visible for Hive Managed Table in HDP Atlas
我使用带有 HDP 的 Atlas 为我的配置单元 tables 创建沿袭流,但沿袭仅对 Hive External tables 可见。我已经创建了 hive managed tables 并执行连接操作以创建新的 table 并使用放置在 hook-bin 文件夹下的 import-hive.sh
导入了 hive 元存储。但是托管 table 的谱系不可见。
甚至托管的 HDFS 目录也没有列出 table。但是,如果我检查外部 table HDFS 目录是否可用。
有人可以帮我吗?提前致谢。
在我的案例中有两个因素导致了这个问题,首先是 Hive-Hook,其次是 offsets.topic.replication.factor
。为了解决这个问题,实施了以下步骤:-
1) 重新安装图集的 Hive Hook
Grep 为 Apache Atlas 安装的服务列表并重新安装 Hive-Hook jar
2) Kafka偏移复制属性
将 offsets.topic.replication.factor
值更改为 1。
通过实施上述更改,Hive 和 sqoop 的沿袭反映在 Atlas 本身中。
我使用带有 HDP 的 Atlas 为我的配置单元 tables 创建沿袭流,但沿袭仅对 Hive External tables 可见。我已经创建了 hive managed tables 并执行连接操作以创建新的 table 并使用放置在 hook-bin 文件夹下的 import-hive.sh
导入了 hive 元存储。但是托管 table 的谱系不可见。
甚至托管的 HDFS 目录也没有列出 table。但是,如果我检查外部 table HDFS 目录是否可用。
有人可以帮我吗?提前致谢。
在我的案例中有两个因素导致了这个问题,首先是 Hive-Hook,其次是 offsets.topic.replication.factor
。为了解决这个问题,实施了以下步骤:-
1) 重新安装图集的 Hive Hook Grep 为 Apache Atlas 安装的服务列表并重新安装 Hive-Hook jar
2) Kafka偏移复制属性
将 offsets.topic.replication.factor
值更改为 1。
通过实施上述更改,Hive 和 sqoop 的沿袭反映在 Atlas 本身中。