如何在 MATLAB 的 SPMD 期间保存中间迭代？

Question

我正在试验 MATLAB SPDM。但是，我有以下问题需要解决：

我正在运行执行一个很长的算法，我想保存过程中的进度，以防断电、有人拔掉电源插头或内存错误。
循环有 144 次迭代，每次大约需要 30 分钟才能完成 => 72 小时。在那段时间里会发生很多问题。当然，我的机器上有分布式计算工具箱。计算机有 4 个物理内核。我运行 MATLAB R2016a.
我真的不想使用 parfor 循环，因为我连接结果并且具有跨迭代的依赖性。我觉得SPMD是我想做的最好的选择

我会尽量描述我想要的： 我希望能够在循环的一组迭代中保存到目前为止的结果，并且我想按工作人员保存结果。

下面是一个最小（非）工作示例。最后四行应放在不同的 .m 文件中。此函数在 parfor 循环中调用，允许保存中间迭代。它在我使用的其他例程中正常工作。错误在第 45 行 (output_save)。不知何故，我想 "pull" 复合对象变成 "regular" 对象 (cell/structure).

我的直觉是我不太了解 Composite 对象的工作原理，尤其是如何将它们保存到 "regular" 对象（单元格、结构等）中。

% SPMD MWE

% Clear necessary things
clear output output2 output_temp iter kk


% Useful thing that will be used later on
Rorder=perms(1:4);

% Stem of the file to save the data to
stem='MWE_MATLAB_spmd';

% Create empty cells where the results of the kk loop will be stored
output1{1,1}=[];
output2{1,2}=[];

% Start the parpool
poolobj=gcp;

% Define which worker/lab will do which iteration
iterperworker=ceil(size(Rorder,1)/poolobj.NumWorkers);
for i=1:poolobj.NumWorkers
    if i<poolobj.NumWorkers
        itertodo{1,i}=1+(iterperworker)*(i-1):iterperworker*i;
    else
        itertodo{1,i}=1+(iterperworker)*(i-1):size(Rorder,1);
    end
end

%Start the spmd
% try
    spmd
        iter=1;
        for kk=itertodo{1,labindex}
            % Print which iteration is done at the moment
            fprintf('\n');
            fprintf('Ordering %d/%d \r',kk,size(Rorder,1));

            for j=1:size(Rorder,2)
            output_temp(1,j)=Rorder(kk,j).^j; % just to populate a structure
            end
            output.output1{1,1}=cat(2,output.output1{1,1},output_temp);  % Concatenate the results
            output.output2{1,2}=cat(2,output.output1{1,2},0.5*output_temp);  % Concatenate the results

            labindex_save=labindex;

            if mod(iter,2)==0
                output2.output=output; % manually put output in a structure
                dosave(stem,labindex_save,output2); % Calls the function that allows me to save in parallel computing
                end
                iter=iter+1;
            end
        end
    % catch me
    % end


    % Function to paste in another m-file
    % function dosave(stem,i,vars)
    %     save(sprintf([stem '%d.mat'],i),'-struct','vars')
    % end

Answer 1

A Composite 仅在 spmd 块之外创建。特别是，您在 spmd 块内定义的变量在该块外作为 Composite 存在。当在 spmd 块中使用相同的变量时，它会被转换回原始值。像这样：

spmd
    x = labindex;
end
isa(x, 'Composite') % true
spmd
    isa(x, 'Composite') % false
    isequal(x, labindex) % true
end

因此，您不应该使用 {:} 索引来转换 output - 它不是 Composite。我认为您应该能够使用

dosave(stem, labindex, output);

如何在 MATLAB 的 SPMD 期间保存中间迭代？

How to save intermediate iterations during SPMD in MATLAB?

parallel-processing

matlab

spmd