如何使用数据块将一个 azure data lake 容器中的所有内容传输到另一个?

How to transfer all the contents in one azure data lake container to another using databricks?

我有一个名为test-container 的容器,我想将test-container 中的所有文件和文件夹移动到test2-container。我如何使用 pyspark 在数据块笔记本中执行此操作?

您将需要安装两个容器,假设容器不是 public,(/ 如果它是根文件夹)然后使用 dbfs cli 在之前创建的安装点之间移动 files/folders。

dbfs mv /mnt/folder1 /mnt/folder2.

如果将容器的访问级别更改为“容器(容器和 blob 的匿名读取访问权限)”,您应该能够直接移动文件,甚至无需创建装载。

在 Databricks notebook 中,代码应该是这样的 -

%fs mv /mnt/folder1 /mnt/folder2