sqoop 作为镶木地板文件导入到目标目录，但找不到该文件

Question

我一直在使用sqoop从mysql导入数据到hive，我使用的命令如下：

sqoop import --connect jdbc:mysql://localhost:3306/datasync \
    --username root --password 654321 \
    --query 'SELECT id,name FROM test WHERE $CONDITIONS' --split-by id \
    --hive-import --hive-database default --hive-table a \
    --target-dir /tmp/yfr --as-parquetfile

创建了 Hive table 并插入了数据，但是我找不到 parquet 文件。

有人知道吗？

此致，

飞然

Answer 1

Sqoop 导入到配置单元分两步：

正在从 RDBMS 获取数据到 HDFS
创建配置单元 table 如果不存在并将数据加载到配置单元 table

在你的情况下，

首先，数据存储在--target-dir即/tmp/yfr

然后，它被加载到 Hive table a 使用

LOAD DATA INPTH ... INTO TABLE.. 命令。

如评论中所述，数据已移动到 hive 仓库目录，这就是 --target-dir.

中没有数据的原因

sqoop 作为镶木地板文件导入到目标目录，但找不到该文件

sqoop import as parquet file to target dir, but can't find the file

hadoop

sqoop

parquet