运行 与另一个用户的用户本地 jupyter 安装
Running user-local jupyter installation with another user
我已经使用 --user 选项安装了 jupyter，它工作正常。我需要在笔记本中 运行 从 HDFS 启动和读取，并且 运行 与我的个人用户一起使用 jupyter 会导致 HDFS 中的文件权限出现问题。因此我决定使用 hdfs 用户 运行 它（我们的集群配置为所有 spark 作业都应该由这个 hdfs 用户 运行 ）但是它找不到 [= 中的依赖项11=] 我个人用户的文件夹。有没有办法告诉 jupyter 运行 作为当前用户 (hdfs) 但在另一个用户的家中寻找二进制文件和依赖项？
另外我正在使用toree作为网关，如果这样可以开辟更多的选择。
试试旧的 Hadoop 技巧：
- 运行你自己用户下的Spark会话
- 但是在Spark环境下，插入一个
export HADOOP_USER_NAME=hdfs命令，这样driver在分配YARN执行器的时候就注册为hdfs
（当然不会与 Kerberos 一起工作；但这是针对 Kerberos 进行身份验证的问题...）
我已经使用 --user 选项安装了 jupyter，它工作正常。我需要在笔记本中 运行 从 HDFS 启动和读取，并且 运行 与我的个人用户一起使用 jupyter 会导致 HDFS 中的文件权限出现问题。因此我决定使用 hdfs 用户 运行 它（我们的集群配置为所有 spark 作业都应该由这个 hdfs 用户 运行 ）但是它找不到 [= 中的依赖项11=] 我个人用户的文件夹。有没有办法告诉 jupyter 运行 作为当前用户 (hdfs) 但在另一个用户的家中寻找二进制文件和依赖项？
另外我正在使用toree作为网关，如果这样可以开辟更多的选择。
试试旧的 Hadoop 技巧：
- 运行你自己用户下的Spark会话
- 但是在Spark环境下，插入一个
export HADOOP_USER_NAME=hdfs命令，这样driver在分配YARN执行器的时候就注册为hdfs
（当然不会与 Kerberos 一起工作；但这是针对 Kerberos 进行身份验证的问题...）