从 Apache Spark Java 代码打开 XMLRPC 端口
Opening a XMLRPC Port from Apache Spark Java Code
我的要求是使用 Apache Spark 处理 Web 服务请求。
我开发了一个 XML RPC 服务器，它将由一个 servlet 代码触发，它又将 运行 一个 spark-submit 应用程序。 XML RPC 将等待 spark-submit 完成并将结果发送回 servlet。
我的问题是：
- 我可以在我的 spark 作业中编写一个 XML RPC 服务器，并使用独立的 XML RPC 服务器直接从我的 servlet 处理所有请求吗？
- 为每个 Web 服务请求触发 Apache spark 的正确方法是什么？
由于依赖性问题，将 spark 与 servlet 集成可能具有挑战性，但撇开这个不谈，您可能更适合使用具有共享 spark 上下文的长 运行 驱动程序，因为创建 spark 上下文可能需要时间（并且您不能在不同的 spark 上下文之间共享缓存数据）。 Ooyala Spark job server can be useful for this, IBM also has a project intended for doing something similar called the Spark Kernel。希望这些项目之一
我的要求是使用 Apache Spark 处理 Web 服务请求。
我开发了一个 XML RPC 服务器，它将由一个 servlet 代码触发，它又将 运行 一个 spark-submit 应用程序。 XML RPC 将等待 spark-submit 完成并将结果发送回 servlet。
我的问题是：
- 我可以在我的 spark 作业中编写一个 XML RPC 服务器，并使用独立的 XML RPC 服务器直接从我的 servlet 处理所有请求吗？
- 为每个 Web 服务请求触发 Apache spark 的正确方法是什么？
由于依赖性问题，将 spark 与 servlet 集成可能具有挑战性，但撇开这个不谈，您可能更适合使用具有共享 spark 上下文的长 运行 驱动程序，因为创建 spark 上下文可能需要时间（并且您不能在不同的 spark 上下文之间共享缓存数据）。 Ooyala Spark job server can be useful for this, IBM also has a project intended for doing something similar called the Spark Kernel。希望这些项目之一