在 Jupyter/Livy 中增加 Spark 应用程序超时
Increasing Spark application timeout in Jupyter/Livy
我正在使用安装了 Jupyterhub 的共享 EMR 集群。如果我的集群负载很重，我会收到错误 如何将 spark 应用程序的超时从 60 秒增加到 900 秒（15 分钟）之类的更长时间？
将以下属性值设置为更大的数字
# How long the rsc client will wait when attempting to connect to the Livy server
# livy.rsc.server.connect.timeout = 60s
在 YARN 作为资源管理器的情况下，当资源不可用（应用程序尚未启动）时，应用程序进入接受状态。
上述值表示 Livy 服务器可以等待资源可用的时间量。
我找到了调整超时的正确文件。
/etc/jupyter/conf/config.json
"livy_session_startup_timeout_seconds": 900
现在超时设置为 900 秒，而之前是 60 秒。
这是针对 ambari 集群的，但我们必须进行调整：
livy.server.yarn.app-lookup-timeout = 600s
在配置模板中找到它 here。
我正在使用安装了 Jupyterhub 的共享 EMR 集群。如果我的集群负载很重，我会收到错误
将以下属性值设置为更大的数字
# How long the rsc client will wait when attempting to connect to the Livy server
# livy.rsc.server.connect.timeout = 60s
在 YARN 作为资源管理器的情况下，当资源不可用（应用程序尚未启动）时，应用程序进入接受状态。
上述值表示 Livy 服务器可以等待资源可用的时间量。
我找到了调整超时的正确文件。
/etc/jupyter/conf/config.json
"livy_session_startup_timeout_seconds": 900
现在超时设置为 900 秒，而之前是 60 秒。
这是针对 ambari 集群的，但我们必须进行调整：
livy.server.yarn.app-lookup-timeout = 600s
在配置模板中找到它 here。