为什么 Hue 中的 Spark Notebook 报告 "Gateway timeout Error 504"？

Question

我正在使用 Hadoop 2.2.6 迷你集群（1 个主节点和 3 个从节点）以及 Ambari 2.1.0 和 Hue 3.8.1，Ubuntu 12.04。 Spark 1.2.1（使用 Scala 2.10.3）作为 Ambari 安装程序的一部分安装。我已经安装了 Livy-Server 以便能够在 Hue 中使用 Spark Notebook。 hue.ini文件中配置如下：

[spark]

# Host address of the Livy Server.

livy_server_host=host1.com

# Port of the Livy Server.

livy_server_port=8998

# Configure livy to start with 'process', 'thread', or 'yarn' workers.

livy_server_session_kind=process

# List of available types of snippets

languages='[{"name": "Scala Shell", "type": "spark"},{"name": "PySpark Shell", "type": "pyspark"},{"name": "R Shell", "type": "r"},{"name": "Jar", "type": "Jar"},{"name": "Python", "type": "py"},{"name": "Impala SQL", "type": "impala"},{"name": "Hive SQL", "type": "hive"},{"name": "Text", "type": "text"}]'

但是当我尝试在 Notebook 中输入简单的命令时，每次都会出现相同的错误：Gateway timeout Error 504。当我使用

从 shell 手动启动 Livy-Server 时

./build/env/bin/hue livy_server

我得到了其他文章中所问的结果，但没有解决方案： http://gethue.com/new-notebook-application-for-spark-sql/#comment-56901 任何想法如何解决这个问题，甚至在哪里看？！除了 Spark Notebook，其他应用程序运行良好。我是大数据和 hadoop 的新手，阅读论坛寻找可能的解决方案，但没有找到与此问题相关的任何内容，是配置错误还是我在安装过程中遗漏了什么？非常感谢任何帮助。谢谢

Answer 1

Livy 从未使用 Spark 1.2 进行过测试。它最初是为 1.3 创建的，目前正在与 1.4 和 1.5 一起使用：https://github.com/cloudera/hue/tree/master/apps/spark/java#prerequisites

为什么 Hue 中的 Spark Notebook 报告 "Gateway timeout Error 504"？

Why does Spark Notebook in Hue report "Gateway timeout Error 504"?

apache-spark

hue

spark-notebook