使用 Hue Hadoop 在现有 table 中导入新数据时遇到问题
Having trouble to import new data in an existing table using Hue Hadoop
当我在现有 table 中加载新数据然后执行 select count(1)
以获得加载的总行数时,我只获得一个 HDFS 文件的计数。
行数只代表一个HDFS文件的数量。
要导入“新数据”,我单击此处:
此外,这里是 MySQL 中的总计数:
以及 Hue Hadoop 中的总计数:
顺便说一下,这里是文件浏览器:
你知道我做错了什么吗?
试试这个:
invalidate metadata default.movie;
很可能您使用 Impala 作为检索数据的引擎,此命令用于重新加载元数据。
By default, the cached metadata for all tables is flushed. If you
specify a table name, only the metadata for that one table is flushed.
Even for a single table, INVALIDATE METADATA is more expensive than
REFRESH, so prefer REFRESH in the common case where you add new data
files for an existing table.
如果你想更进一步,check this out.
当我在现有 table 中加载新数据然后执行 select count(1)
以获得加载的总行数时,我只获得一个 HDFS 文件的计数。
行数只代表一个HDFS文件的数量。
要导入“新数据”,我单击此处:
此外,这里是 MySQL 中的总计数:
以及 Hue Hadoop 中的总计数:
顺便说一下,这里是文件浏览器:
你知道我做错了什么吗?
试试这个:
invalidate metadata default.movie;
很可能您使用 Impala 作为检索数据的引擎,此命令用于重新加载元数据。
By default, the cached metadata for all tables is flushed. If you specify a table name, only the metadata for that one table is flushed. Even for a single table, INVALIDATE METADATA is more expensive than REFRESH, so prefer REFRESH in the common case where you add new data files for an existing table.
如果你想更进一步,check this out.