使用 Hue Hadoop 在现有 table 中导入新数据时遇到问题

Having trouble to import new data in an existing table using Hue Hadoop

当我在现有 table 中加载新数据然后执行 select count(1) 以获得加载的总行数时,我只获得一个 HDFS 文件的计数。

行数只代表一个HDFS文件的数量。

要导入“新数据”,我单击此处:

此外,这里是 MySQL 中的总计数:

以及 Hue Hadoop 中的总计数:

顺便说一下,这里是文件浏览器:

你知道我做错了什么吗?

试试这个:

invalidate metadata default.movie;

很可能您使用 Impala 作为检索数据的引擎,此命令用于重新加载元数据。

By default, the cached metadata for all tables is flushed. If you specify a table name, only the metadata for that one table is flushed. Even for a single table, INVALIDATE METADATA is more expensive than REFRESH, so prefer REFRESH in the common case where you add new data files for an existing table.

如果你想更进一步,check this out.