在 Julia 中为整个进程设置环境变量

Question

我目前正在使用 Julia (1.0) 运行在 HPC 集群上编写一些并行代码。 HPC 使用 PBS 进行管理。我正在尝试找到一种在所有进程中广播环境变量的方法，即一种自动广播特定环境变量列表以便在每个 Julia worker 中访问它们的方法。

#!/bin/bash
#PBS ...

export TOTO=toto
julia --machine-file=$PBS_NODEFILE my_script.jl

在此示例中，我将无法访问每个 julia worker 中的变量 TOTO（通过 ENV["TOTO"]）。

我发现做我想做的事情的唯一方法是在我的 .bashrc 中设置变量，但我希望这是特定于脚本的。另一种方法是放入我的 startup.jl 文件：

@everywhere ENV["TOTO"] = $(ENV["TOTO"])

但它不是特定于脚本的，因为我必须提前知道要发送哪些变量。如果我对 ENV 键进行循环，那么我将广播所有变量，然后覆盖我不想覆盖的变量。

我尝试使用 DotEnv.jl 但它不起作用。

感谢您的宝贵时间。

Answer 1

最明显的方法是在 script.jl 中首先设置变量。您也可以将初始化放在一个单独的文件中，例如environment.jl，并使用 -L 标志将其加载到所有进程：

julia --machine-file=$PBS_NODEFILE -L environment.jl my_script.jl

在这种情况下，environment.jl 将包含

ENV["TOTO"] = "toto"

等等

Set environment variables all over processes in Julia