可以在 SageMaker (Labs 1.2.*) 上使用 dask 仪表板吗？
Can dask dashboard be used on SageMaker (Labs 1.2.*)?
我没有访问实验室环境的浏览器权限，目前可用的实验室 dask 扩展对我不起作用。
我希望能够看到我的 dask 项目的进度和性能数据，现在运气不好。
compute() 有时需要几个小时（没关系，有很多数据），整个过程我感觉很盲目。
您知道实验室 1.2 是否支持任何内容吗？进度条也不走运。
该实例位于 AWS SageMaker 上，因此我无法访问 Web 仪表板。
谢谢！
可以使用 performance_report 将大部分仪表板信息保存在一个文件中（参见 docs）：
from dask.distributed import Client, performance_report
import time
client = Client()
def f(x):
time.sleep(x)
return x
with performance_report():
futures = client.map(f, range(5))
results = client.gather(futures)
请注意，这只会在计算停止后保存最终文件（因为它已完成或由于 error/interruption）。
如果您想要在特定 steps/intervals 处保存信息的东西，最简单的解决方案是将计算分成块并在每个块上保存信息。请注意，这种 hacky-saves 会降低并行化的效率，因为一些工作人员可能会在频繁的 .gather 或 .compute 操作期间最终空闲。
另一种选择是定期转储 client.get_task_stream() 的内容，其中 returns 包含调度程序上每个任务的字典的元组。这可以在使用 as_completed 完成每个 future 之后或以某种周期性（例如 while 循环中的每 n 秒）完成。我想不出一个通用的解决方案，但应该是可以的。
您可能还会发现 this answer 中的链接很有用。
我没有访问实验室环境的浏览器权限，目前可用的实验室 dask 扩展对我不起作用。 我希望能够看到我的 dask 项目的进度和性能数据，现在运气不好。
compute() 有时需要几个小时（没关系，有很多数据），整个过程我感觉很盲目。
您知道实验室 1.2 是否支持任何内容吗？进度条也不走运。 该实例位于 AWS SageMaker 上，因此我无法访问 Web 仪表板。
谢谢！
可以使用 performance_report 将大部分仪表板信息保存在一个文件中（参见 docs）：
from dask.distributed import Client, performance_report
import time
client = Client()
def f(x):
time.sleep(x)
return x
with performance_report():
futures = client.map(f, range(5))
results = client.gather(futures)
请注意，这只会在计算停止后保存最终文件（因为它已完成或由于 error/interruption）。
如果您想要在特定 steps/intervals 处保存信息的东西，最简单的解决方案是将计算分成块并在每个块上保存信息。请注意，这种 hacky-saves 会降低并行化的效率，因为一些工作人员可能会在频繁的 .gather 或 .compute 操作期间最终空闲。
另一种选择是定期转储 client.get_task_stream() 的内容，其中 returns 包含调度程序上每个任务的字典的元组。这可以在使用 as_completed 完成每个 future 之后或以某种周期性（例如 while 循环中的每 n 秒）完成。我想不出一个通用的解决方案，但应该是可以的。
您可能还会发现 this answer 中的链接很有用。