将 livy 与 python 一起使用时响应对象 'dead' 的状态

State of Response object 'dead' while using livy with python

我正在尝试使用 livy,这也是我第一次使用 REST api。在 tutorial 之后,当我键入

r = requests.post(statements_url, data=json.dumps(data), headers=headers)

然后

r.json()

我收到了输出 u'java.lang.IllegalStateException: Session is in state dead'。根据教程,session状态应该是idle,但是启动完成后好像变成dead了。我不知道我应该怎么做才能将状态保持在 iddle 以便我可以发出 post 请求。

在服务器 运行 所在的控制台中,我收到以下输出 16/08/02 12:37:18 ERROR SessionServlet$: internal error java.lang.IllegalStateException: Session is in state dead

经过几次尝试,我发现我是运行 spark with scala 2.11,而Livy只支持Scala 2.10。

我在 Hue Notebook 中取消 运行 的一段代码时遇到了这个问题。

我找到的唯一解决方案是注销 Hue,然后重新登录。

(重新登录时会创建一个新会话)

最近我遇到了同样的问题,我通过创建正确的会话类型解决了这个问题。即在打包 Apache Livy 时,我的 mvn 在 python 失败,所以我没有为 pyspark 创建会话,而是创建了 spark 会话,然后我的会话处于空闲状态。