将 Spark 应用程序连接到 Web 服务器
Connect Spark application with web server
我将尝试解释我的简化用例。有：
- 统计字数的 Spark 应用程序。
- 提供带有表单的网页的 Web 服务器。
- 可以在此表单中输入单词并提交的用户。
服务器接收到单词并将其发送到Spark 应用程序。
Spark 应用程序将这个词作为输入，基于一些数据，这个词启动一个重新计算的作业。一旦 Spark 完成计算，它会将结果发送到 Web 服务器，该服务器在网页上显示结果。
问题是，如何在 spark 应用程序和网络服务器之间建立通信？
我想，spark-jobserver 或 spark-streaming 可以帮到我，但我不确定。
有几个项目可以帮助您解决这个问题。
通常你 运行 一个单独的网络服务器来管理 spark 作业，因为 spark-submit cli 周围有一些杂乱的 systemExec 工作来完成这个。显然，这个 运行s 在与您的主要应用程序不同的端口上，并且只能由主要 Web 应用程序的服务器组件访问。
有几个开源项目可以为您解决这个问题，最值得注意的是：
我将尝试解释我的简化用例。有：
- 统计字数的 Spark 应用程序。
- 提供带有表单的网页的 Web 服务器。
- 可以在此表单中输入单词并提交的用户。
服务器接收到单词并将其发送到Spark 应用程序。 Spark 应用程序将这个词作为输入，基于一些数据，这个词启动一个重新计算的作业。一旦 Spark 完成计算，它会将结果发送到 Web 服务器，该服务器在网页上显示结果。
问题是，如何在 spark 应用程序和网络服务器之间建立通信？
我想，spark-jobserver 或 spark-streaming 可以帮到我，但我不确定。
有几个项目可以帮助您解决这个问题。
通常你 运行 一个单独的网络服务器来管理 spark 作业，因为 spark-submit cli 周围有一些杂乱的 systemExec 工作来完成这个。显然，这个 运行s 在与您的主要应用程序不同的端口上，并且只能由主要 Web 应用程序的服务器组件访问。
有几个开源项目可以为您解决这个问题，最值得注意的是：