databricks notebook 用于读取 databricks 作业统计信息并将其写在雪花上 table

Question

我在 databricks 中安排了几个作业，其中我有兴趣阅读两个特定作业的统计信息。我需要编写一个数据块笔记本代码来将作业统计信息（作业名称、开始时间、结束时间和状态）写入雪花 table。

Answer 1

我们可以使用以下 python 代码从数据块作业 api 中获取详细信息。

注意：这里是测试代码

from pyspark.sql.types import IntegerType
from pyspark.sql.types import *
from pyspark.sql import Row
import base64
import requests
import json

databricks_instance ="<databricks-instances>"

url_list = f"{databricks_instance}/api/2.0/jobs/runs/get?run_id=39347"

headers = {
  'Authorization': 'Bearer <databricks-access-token>',
  'Content-Type': 'application/json'
}

response = requests.request("GET", url_list, headers=headers).json()
print(response)
print(response['job_id'])
print(response['start_time'])
print(response['end_time'])

databricks notebook 用于读取 databricks 作业统计信息并将其写在雪花上 table

databricks notebook to read databricks job statistics and write it on a snowflake table

aws-databricks