从 Azure HDInsight 获取 Spark Yarn 日志
Fetching the Spark Yarn log from Azure HDInsight
目前，我通过 LIVY Posting/submitting 将作业激发到 Azure HDInsight 集群。工作完成后，我正在查看 Spark History Server 中的 yarn 日志。
每个 spark 作业的 Livy 日志不提供 yarn 日志。
我们能否以编程方式从 Azure HDInsight 中获取 Spark Yarn 日志。我们在 Azure 中是否有任何 REST 调用或自定义工具来获取 Yarn 日志
为了将来调查此问题，能否提供有关该场景的更多信息：
- 您将 Spark 作业提交到 Azure HDInsight 的具体情况如何？
- 您是否在关注任何文章，如果是，请提供文章的 link，或者请分享确切的步骤？
- 当您从 Ambari UI 启动 YARN UI 时，您是否能够在提交 spark 作业时看到关联的 application_id？
同时，您可以结帐Debug Apache Spark jobs running on Azure HDInsight。
Can we Fetch the Spark Yarn log from Azure HDInsight programmatically. Do we have any REST call or custom tool in Azure to fetch the Yarn log
使用这些 API 将远程作业提交到 HDInsight Spark 群集。所有任务操作都符合 HTTP/1.1 协议。确保您使用 Spark 管理员凭据使用 HTTP 基本身份验证对 Spark 集群管理端点进行身份验证。
参考： Azure HDInsight Spark - Remote Job Submission REST API
您可以按以下格式向 livy 端点提交 GET：https://<your_hdi_url>/livy/batches/<id of your job>/log
目前，我通过 LIVY Posting/submitting 将作业激发到 Azure HDInsight 集群。工作完成后，我正在查看 Spark History Server 中的 yarn 日志。
每个 spark 作业的 Livy 日志不提供 yarn 日志。
我们能否以编程方式从 Azure HDInsight 中获取 Spark Yarn 日志。我们在 Azure 中是否有任何 REST 调用或自定义工具来获取 Yarn 日志
为了将来调查此问题，能否提供有关该场景的更多信息：
- 您将 Spark 作业提交到 Azure HDInsight 的具体情况如何？
- 您是否在关注任何文章，如果是，请提供文章的 link，或者请分享确切的步骤？
- 当您从 Ambari UI 启动 YARN UI 时，您是否能够在提交 spark 作业时看到关联的 application_id？
同时，您可以结帐Debug Apache Spark jobs running on Azure HDInsight。
Can we Fetch the Spark Yarn log from Azure HDInsight programmatically. Do we have any REST call or custom tool in Azure to fetch the Yarn log
使用这些 API 将远程作业提交到 HDInsight Spark 群集。所有任务操作都符合 HTTP/1.1 协议。确保您使用 Spark 管理员凭据使用 HTTP 基本身份验证对 Spark 集群管理端点进行身份验证。
参考： Azure HDInsight Spark - Remote Job Submission REST API
您可以按以下格式向 livy 端点提交 GET：https://<your_hdi_url>/livy/batches/<id of your job>/log