如何 运行 pyspark 脚本不在 window 中显示 运行ning 进程

Question

我在服务器中有一个 pyspark 文件 test.py，我想 运行 这个文件带有一个参数 (teo)。

spark-submit --driver-memory=32g --executor-memory=32g test.py teo 2>&1 test.logs.

虽然当我 运行ning 时它开始在 window 中显示整个过程，但我不希望那样。相反，我想将所有 运行ning 过程存储在一个 .logs 文件中。

Answer 1

请按以下方式尝试

spark-submit --driver-memory=32g --executor-memory=32g test.py teo >> test.logs 2>&1 

这会将终端输出重定向到 test.logs