如何在 MAPR 文件系统和 HDInsight Blob 存储之间进行 distcp
How to distcp between a MAPR filesystem and a HDInsight Blob Storage
我正在尝试执行下面的 distcp 命令，但它抛出了异常：
hadoop distcp date_load=201901* wasb://dev3-spark@clusterdev.blob.core.windows.net/luiz/producao/performance/performance_report
抛出异常如下：
我正在尝试执行下面的 distcp 命令，但它抛出了异常：
hadoop distcp date_load=201901* wasb://dev3-spark@clusterdev.blob.core.windows.net/luiz/producao/performance/performance_report
抛出异常如下：
19/02/06 13:34:53 信息 impl.MetricsConfig：从 hadoop 加载属性-metrics2.properties
19/02/06 13:34:53 信息 impl.MetricsSystemImpl：计划的快照周期为 10 秒。
19/02/06 13:34:53 信息 impl.MetricsSystemImpl：azure 文件系统指标系统已启动
19/02/06 13:34:53 错误 tools.DistCp：无效参数：
org.apache.hadoop.fs.azure.AzureException：org.apache.hadoop.fs.azure.AzureException：未找到帐户 clusterdev.blob.core.windows.net 中的容器 dev3-spark，我们无法使用匿名凭据创建它。
在 org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession(AzureNativeFileSystemStore.java:938)
在 org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.initialize(AzureNativeFileSystemStore.java:438)
在 org.apache.hadoop.fs.azure.NativeAzureFileSystem.initialize(NativeAzureFileSystem.java:1048)
在 org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2693)
org.apache.hadoop.fs.FileSystem.access300 美元（FileSystem.java:98）
在 org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2773)
在 org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2755)
在 org.apache.hadoop.fs.FileSystem.get(FileSystem.java:411)
在 org.apache.hadoop.fs.Path.getFileSystem(Path.java:309)
在 org.apache.hadoop.tools.DistCp.setTargetPathExists(DistCp.java:216)
在 org.apache.hadoop.tools.DistCp.运行(DistCp.java:116)
在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
在 org.apache.hadoop.tools.DistCp.main(DistCp.java:430)
原因：org.apache.hadoop.fs.azure.AzureException：未找到帐户 clusterdev.blob.core.windows.net 中的容器 dev3-spark，我们无法使用匿名凭据创建它。
在 org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.connectUsingAnonymousCredentials(AzureNativeFileSystemStore.java:730)
在 org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession(AzureNativeFileSystemStore.java:933)
... 还有 12 个
参数无效：org.apache.hadoop.fs.azure.AzureException：未找到帐户 clusterdev.blob.core.windows.net 中的容器 dev3-spark，我们无法使用匿名凭据创建它。
您可以从本地集群 distcp 到您的 Azure 存储帐户
% hadoop distCP hdfs://<yourHostName>:9001/user/<yourUser>/<yourDirectory> wasbs://<yourStorageContainer>@<YourStorageAccount>.blob.core.windows.net/<yourDestinationDirectory>/
希望对您有所帮助。
我正在尝试执行下面的 distcp 命令，但它抛出了异常：
hadoop distcp date_load=201901* wasb://dev3-spark@clusterdev.blob.core.windows.net/luiz/producao/performance/performance_report
抛出异常如下：
我正在尝试执行下面的 distcp 命令，但它抛出了异常：
hadoop distcp date_load=201901* wasb://dev3-spark@clusterdev.blob.core.windows.net/luiz/producao/performance/performance_report
抛出异常如下：
19/02/06 13:34:53 信息 impl.MetricsConfig：从 hadoop 加载属性-metrics2.properties 19/02/06 13:34:53 信息 impl.MetricsSystemImpl：计划的快照周期为 10 秒。 19/02/06 13:34:53 信息 impl.MetricsSystemImpl：azure 文件系统指标系统已启动 19/02/06 13:34:53 错误 tools.DistCp：无效参数： org.apache.hadoop.fs.azure.AzureException：org.apache.hadoop.fs.azure.AzureException：未找到帐户 clusterdev.blob.core.windows.net 中的容器 dev3-spark，我们无法使用匿名凭据创建它。 在 org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession(AzureNativeFileSystemStore.java:938) 在 org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.initialize(AzureNativeFileSystemStore.java:438) 在 org.apache.hadoop.fs.azure.NativeAzureFileSystem.initialize(NativeAzureFileSystem.java:1048) 在 org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2693) org.apache.hadoop.fs.FileSystem.access300 美元（FileSystem.java:98） 在 org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2773) 在 org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2755) 在 org.apache.hadoop.fs.FileSystem.get(FileSystem.java:411) 在 org.apache.hadoop.fs.Path.getFileSystem(Path.java:309) 在 org.apache.hadoop.tools.DistCp.setTargetPathExists(DistCp.java:216) 在 org.apache.hadoop.tools.DistCp.运行(DistCp.java:116) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 在 org.apache.hadoop.tools.DistCp.main(DistCp.java:430) 原因：org.apache.hadoop.fs.azure.AzureException：未找到帐户 clusterdev.blob.core.windows.net 中的容器 dev3-spark，我们无法使用匿名凭据创建它。 在 org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.connectUsingAnonymousCredentials(AzureNativeFileSystemStore.java:730) 在 org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession(AzureNativeFileSystemStore.java:933) ... 还有 12 个 参数无效：org.apache.hadoop.fs.azure.AzureException：未找到帐户 clusterdev.blob.core.windows.net 中的容器 dev3-spark，我们无法使用匿名凭据创建它。
您可以从本地集群 distcp 到您的 Azure 存储帐户
% hadoop distCP hdfs://<yourHostName>:9001/user/<yourUser>/<yourDirectory> wasbs://<yourStorageContainer>@<YourStorageAccount>.blob.core.windows.net/<yourDestinationDirectory>/
希望对您有所帮助。