在 Azure 数据湖存储中将 sql 查询作为 json 文档导入

Question

从托管在 Azure 虚拟机上的 SQL 数据库导入数据，将 sql 查询数据转换为 json 文档并将其存储在 Azure Data Lake Storage 中。我正在使用 powershell 创建 json 文档。

遇到如何将 json 文档导入数据湖存储并自动导入的障碍。

$InstanceName = "SQLDB\TST"
$connectionString = "Server=$InstanceName;Database=dbadb;Integrated Security=True;"
$query = "SELECT * FROM Employee"
$connection = New-Object System.Data.SqlClient.SqlConnection
$connection.ConnectionString = $connectionString

$connection.Open()

$command = $connection.CreateCommand()
$command.CommandText = $query
$result = $command.ExecuteReader()
$table = new-object "System.Data.DataTable"
$table.Load($result)
$table | select $table.Columns.ColumnName | ConvertTo-Json | Set-Content "C:\JsonDocs\result.json"

$connection.Close()

Answer 1

如果要使用 PowerShell 在 Azure 数据湖存储中存储 JSON 文件，可以使用 PowerShell 命令 Import-AzDataLakeStoreItem

例如

Connect-AzAccount
Import-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
   -Path "you json file path" `
   -Destination "the path in data lake store"

详情请参考document

在 Azure 数据湖存储中将 sql 查询作为 json 文档导入

Import sql query as json document in azure data lake storage

json

azure

powershell

azure-data-lake

azure-sql-server