是否有系统 DMV 来监控正在加载的文件？

Question

我正在使用 polybase 从 blob 存储将文件加载到 Azure DW。

我通常使用 sys.dm_pdw_exec_requests 和 sys.dm_pdw_sql_requests 来查看任何长运行进程在做什么，但是 polybase 加载的信息有限。

是否有一个视图可以显示 Polybase 在目录中找到的文件列表并指示任何进度（可能是已完成的文件或已加载的行？）

Answer 1

我们仍在添加有关 Polybase 监控的功能。

这是一个查询，可以帮助您监控当前文件的加载进度。 "Current" 表示如果数据集中有 1,000 个文件，而 Polybase 一次处理 10 个文件，则在任何给定时间此查询只能产生 10 行。

-- To track bytes and files
SELECT
    r.command,
    s.request_id,
    r.status,
    count(distinct input_name) as nbr_files, 
    sum(s.bytes_processed)/1024/1024/1024 as gb_processed
FROM
    sys.dm_pdw_exec_requests r
    inner join sys.dm_pdw_dms_external_work s
        on r.request_id = s.request_id
GROUP BY
   r.command,
    s.request_id,
    r.status
ORDER BY
    nbr_files desc,
    gb_processed desc;

这是一个越来越重要的话题，我创建了一个 User Voice 任务来注册用户支持。您介意添加您的 votes/comments 吗？

是否有系统 DMV 来监控正在加载的文件？

Is there a system DMV to monitor the files being loaded?

azure-sqldw

polybase