Matlab MapReduce 找不到数据集

Question

我使用 MapReduce 来详细说明一个（相对）大的数据集，这是一个以 .csv 格式（~250MB）存储的简单矩阵。我运行在一个有 2 台计算机的自制集群中使用这个 MapReduce。

集群运行良好，没有任何问题。

我一如既往地从 csv 文件创建数据存储

  ds=datastore({'DS.csv'},'ReadVariableNames',false);

我打开池并设置MapReduce环境

  myCluster=parpool('HomeCluster');

  MRE=mapreducer(myCluster);

我启动程序，出现以下错误：

  Error using matlab.io.datastore.TabularTextDatastore/partition (line 44)
  Cannot find files or folders matching: '<path for CSV>'

奇怪的是...csv 文件在当前文件夹中，其中还包含我的 scripts/functions。

我也尝试将该文件附加到池中（即使对我来说听起来很愚蠢，如果我错了请纠正我），但仍然没有成功。

感谢任何帮助。谢谢！

更新：我能够运行这个程序，方法是在两台计算机上创建一个具有相同路径的同名文件夹，并在两台计算机上复制 csv 文件文件夹。但这是相当愚蠢的，因为大多数时候不可能创建一个完美匹配的路径名（例如，操作系统中的用户名可能不同）。有没有更聪明的方法来避免这种情况？ master节点可以是唯一一个有dataset文件的吗？

Answer 1

我实际上是如何解决它的：将这些文件附加到池中是行不通的，所以我不得不通过网络共享一个外部硬盘驱动器，以便将这些文件放在同一个 path/folder .

Matlab MapReduce 找不到数据集

Matlab MapReduce cannot find dataset

parallel-processing

matlab

mapreduce

datastore

dataset