来自 Web 应用程序的 Spark 机器学习设计模型
Spark Machine learning design model from web application
我开发了一个网络应用程序，用户可以在其中选择机器学习框架/迭代次数/其他一些调整参数。如何通过将所有输入传递给用户并显示响应来从用户界面调用 Spark 作业。根据框架 (dl4j/ spark mllib/ H2o)，用户可以上传输入 csv 或从 Cassandra 读取数据。
- 如何从用户界面调用 SPARK 作业？
- 如何将结果显示给用户？
请帮忙。
你可以看看这个github repository.
这里所做的是，一旦 GET 请求到达，它就会从 Cassandra 中取出数据，然后收集数据并将其作为响应抛回。
所以在你的情况下：
你可以做的是，一旦你收到一个 POST 请求，你就可以从请求中获取参数，并使用这些参数执行相应的操作，然后在 master 上收集结果，然后将其作为 Response 返回给用户。
P.S: Master上收集有点麻烦，数据量大会OOM。您可以做的是将结果保存在 hadoop 上并将 URL 发送回结果或类似的东西。
有关更多信息，请查看与此相关的博客 github：
https://blog.knoldus.com/2016/10/12/cassandra-with-spark/
我开发了一个网络应用程序，用户可以在其中选择机器学习框架/迭代次数/其他一些调整参数。如何通过将所有输入传递给用户并显示响应来从用户界面调用 Spark 作业。根据框架 (dl4j/ spark mllib/ H2o)，用户可以上传输入 csv 或从 Cassandra 读取数据。
- 如何从用户界面调用 SPARK 作业？
- 如何将结果显示给用户？
请帮忙。
你可以看看这个github repository.
这里所做的是，一旦 GET 请求到达，它就会从 Cassandra 中取出数据，然后收集数据并将其作为响应抛回。
所以在你的情况下：
你可以做的是，一旦你收到一个 POST 请求，你就可以从请求中获取参数，并使用这些参数执行相应的操作，然后在 master 上收集结果，然后将其作为 Response 返回给用户。
P.S: Master上收集有点麻烦，数据量大会OOM。您可以做的是将结果保存在 hadoop 上并将 URL 发送回结果或类似的东西。
有关更多信息，请查看与此相关的博客 github： https://blog.knoldus.com/2016/10/12/cassandra-with-spark/