用于在 Bluemix 上执行 Apache Spark SQL 的作业的调度程序
Scheduler for jobs executing Apache Spark SQL on Bluemix
我在 Bluemix 中使用 Apache Spark。
我想为 sparksql 作业实施调度程序。我在一个描述日程安排的博客上看到了这个 link。但不清楚如何更新清单。也许还有其他方法可以安排我的工作。
清单文件用于指导 Cloud Foundry (cf) 应用程序的部署。因此，在您的情况下，听起来您想部署充当 SparkSQL 调度程序的 cf 应用程序，并使用清单文件声明您的应用程序不需要任何 Web 应用程序路由内容，或面向用户的应用程序的任何其他内容，因为您只想 运行 一个后台调度程序。这一切都很好，cf docs 将帮助您实现这一目标。
但是，您现在不能 运行 用于 Bluemix Spark 服务的 SparkSQL 调度程序，因为它仅通过 Bluemix 的数据分析部分支持 Jupyter 笔记本；即，只有一个笔记本 UI。您需要一个 Spark API 可以从您的调度程序 cf 应用程序驱动；例如spark-submit 类型的东西，你可以在其中创建你的 Spark 上下文，然后 运行 程序，比如你提到的 SparkSQL。此 API 应该用于 Apache Spark Bluemix 服务。
更新：spark-submit 在 2016 年第 1 季度末左右的某个时间可用。它是一个 shell 脚本，但在其内部通过 curl 进行 REST 调用。 REST API 似乎还不受支持，但是您可以在调度程序中调用脚本，或者冒险直接调用 REST API 并希望它不会改变并破坏您.
我在 Bluemix 中使用 Apache Spark。 我想为 sparksql 作业实施调度程序。我在一个描述日程安排的博客上看到了这个 link。但不清楚如何更新清单。也许还有其他方法可以安排我的工作。
清单文件用于指导 Cloud Foundry (cf) 应用程序的部署。因此，在您的情况下，听起来您想部署充当 SparkSQL 调度程序的 cf 应用程序，并使用清单文件声明您的应用程序不需要任何 Web 应用程序路由内容，或面向用户的应用程序的任何其他内容，因为您只想 运行 一个后台调度程序。这一切都很好，cf docs 将帮助您实现这一目标。
但是，您现在不能 运行 用于 Bluemix Spark 服务的 SparkSQL 调度程序，因为它仅通过 Bluemix 的数据分析部分支持 Jupyter 笔记本；即，只有一个笔记本 UI。您需要一个 Spark API 可以从您的调度程序 cf 应用程序驱动；例如spark-submit 类型的东西，你可以在其中创建你的 Spark 上下文，然后 运行 程序，比如你提到的 SparkSQL。此 API 应该用于 Apache Spark Bluemix 服务。
更新：spark-submit 在 2016 年第 1 季度末左右的某个时间可用。它是一个 shell 脚本，但在其内部通过 curl 进行 REST 调用。 REST API 似乎还不受支持，但是您可以在调度程序中调用脚本，或者冒险直接调用 REST API 并希望它不会改变并破坏您.