自动化:将数据从本地 CSV 推送到 Kusto 数据库表
Automation: Push data from local CSVs to Kusto db tables
我从网页下载了不同的数据,并在我的本地目录中保存为 .csv 文件。我想将该数据推送到我在 Kusto Explorer 上创建的表中,理想情况下我希望此过程安排为每天自动进行,因为来自网站的数据每天都会更新。
例如:
这里我有 3 个 .csv 文件:
1.csv
2.csv
3.csv
这里我在 Kusto 上创建了 3 个表来分别存储每个 csv 数据:
Table_1
Table_2
Table_3
问题是:是否可以将数据 push/load 从本地 CSV 自动化并安排到 Kusto? 数据 push/load 类型是 [=目前为 12=],但将来可能需要 Append
。
有人推荐我使用 Flow (https://preview.flow.microsoft.com/en-us/) 检查是否已经设置了任何类似的模板。但是,我无法找到任何这些工具并且是这些工具的新手,所以我需要知道这方面的人的帮助。非常感谢。如果您需要任何进一步的信息,请告诉我。
如果你想控制时间安排:
您可以使用任何摄取客户端库来自动执行此操作:https://docs.microsoft.com/en-us/azure/kusto/api/
或者,如果您更喜欢简单地调用现成的实用程序,还有 LightIngest, and Kusto Ingestion Tools (KIT)
另一种方法是:
创建后将您生成的 CSV 文件上传到云存储。
为它们上传到的存储容器设置一个数据连接,这样上传到它的任何文件都会自动引入您的集群:https://docs.microsoft.com/en-us/azure/data-explorer/ingest-data-event-grid
我从网页下载了不同的数据,并在我的本地目录中保存为 .csv 文件。我想将该数据推送到我在 Kusto Explorer 上创建的表中,理想情况下我希望此过程安排为每天自动进行,因为来自网站的数据每天都会更新。
例如:
这里我有 3 个 .csv 文件:
1.csv
2.csv
3.csv
这里我在 Kusto 上创建了 3 个表来分别存储每个 csv 数据:
Table_1
Table_2
Table_3
问题是:是否可以将数据 push/load 从本地 CSV 自动化并安排到 Kusto? 数据 push/load 类型是 [=目前为 12=],但将来可能需要 Append
。
有人推荐我使用 Flow (https://preview.flow.microsoft.com/en-us/) 检查是否已经设置了任何类似的模板。但是,我无法找到任何这些工具并且是这些工具的新手,所以我需要知道这方面的人的帮助。非常感谢。如果您需要任何进一步的信息,请告诉我。
如果你想控制时间安排:
您可以使用任何摄取客户端库来自动执行此操作:https://docs.microsoft.com/en-us/azure/kusto/api/
或者,如果您更喜欢简单地调用现成的实用程序,还有 LightIngest, and Kusto Ingestion Tools (KIT)
另一种方法是:
创建后将您生成的 CSV 文件上传到云存储。
为它们上传到的存储容器设置一个数据连接,这样上传到它的任何文件都会自动引入您的集群:https://docs.microsoft.com/en-us/azure/data-explorer/ingest-data-event-grid