ERROR:Could not find or load main class sqoop-import, while sqoop-import from CDH to ADLS

Question

我们正在尝试使用 Cloudera Distribution 配置和设置 Azure Data Lake。按照官方文档，我能够从 CHD 到 ADLS 执行 distcp、put 等操作，反之亦然。

最近我想看看我们是否可以使用 sqoop-import 在数据湖和 sql 数据库之间移动数据，而无需启动 hdinsight 集群以降低相关成本。

hadoop --config /home/userTest/adl_conf sqoop-import --connect "jdbc:sqlserver://xxxxx.yyyy.org:1433;username=xxxx;password=*****;database=xxxx" --table TEST_SQOOP --target-dir adl://xxxx.azuredatalakestore.net/some/path/toPUT

我已经将文件放在 /opt/cloudera/parcels/CDH/lib/hadoop/lib 文件夹中：

ls -lrt /opt/cloudera/parcels/CDH/lib/hadoop/lib

lrwxrwxrwx 1 root root   30 Mar 28 19:47 sqoop-1.4.6.jar -> /opt/sqoop/lib/sqoop-1.4.6.jar
lrwxrwxrwx 1 root root   30 Mar 28 19:47 sqoop-tools.jar -> /opt/sqoop/lib/sqoop-tools.jar

仍然不确定我错过了什么，非常感谢任何帮助。

谢谢

Answer 1

我们不支持 sqoop 使用 azure data lake。相当临时的解决方法是：

use hdfs path instead of ADLs and do distcp from hdfs to ADLS

ERROR:Could not find or load main class sqoop-import, while sqoop-import from CDH to ADLS

ERROR:Could not find or load main class sqoop-import, while sqoop-import from CDH to ADLS

hadoop

azure

sqoop

cloudera-cdh