使用 Apache Spark 查询 REST Web 服务？

Question

我们在 Hadoop 上有一些数据需要使用只能通过 REST 服务提供给我们的数据进行扩充。我们正在使用 Spark 来搜索和更正丢失的数据。尽管有很多记录要搜索丢失的数据，但预计对服务的调用总数会很低，因此在搜索数据时最好在 Spark 中完成整个工作。

我在 API 或 Google 中没有看到任何与从 Spark 作业进行 REST 调用相关的明显内容。可能吗？

谢谢

Answer 1

没有任何特定于 spark 的东西，您可以使用您最喜欢的 java 或 scala HTTP 库进行调用，可能是在将 return 输入数据和数据的映射函数中您从服务中检索到。