远程火花提交无法通过 paramiko 工作
Remote spark-submit not working via paramiko
我的 spark 程序在远程 ubuntu 系统中。现在我想使用 paramiko（用于 SSH2 连接的 python 包）从 windows 系统执行它。
The program in windows for remote execution of spark program
问题是我可以在远程ubuntu系统中执行python程序，但是不能执行spark程序。有人知道为什么吗？
您很可能应该设置 spark 环境变量。在要启动 spark 应用程序的远程实例上，在 .bashrc 文件中为 spark 创建一个条目
SPARK_HOME=*<path to your spark folder>*
export PATH=$SPARK_HOME/bin:$PATH
然后通过命令获取修改后的.bashrc文件
source ~/.bashrc
我的 spark 程序在远程 ubuntu 系统中。现在我想使用 paramiko（用于 SSH2 连接的 python 包）从 windows 系统执行它。
The program in windows for remote execution of spark program
问题是我可以在远程ubuntu系统中执行python程序，但是不能执行spark程序。有人知道为什么吗？
您很可能应该设置 spark 环境变量。在要启动 spark 应用程序的远程实例上，在 .bashrc 文件中为 spark 创建一个条目
SPARK_HOME=*<path to your spark folder>*
export PATH=$SPARK_HOME/bin:$PATH
然后通过命令获取修改后的.bashrc文件
source ~/.bashrc