Azure Synapse 中笔记本 activity 的 Flow 运行 大小限制是多少？
What is the Flow Run Size Limit of a notebook activity in Azure Synapse?
我在 Azure Synapse 中成功创建了一个大型 spark 笔记本，运行。然后我用一个指向现有 spark 笔记本的新笔记本 activity 创建了一个新管道。我触发了它，但失败并显示错误消息：
ErrorCode=FlowRunSizeLimitExceeded, ErrorMessage=Triggering the pipeline failed
due to large run size. This could happen when a run has a large number of
activities or large inputs used in some of the activities, including parameters.
该管道中只有一个 activity；因此，不能超过活动的数量。我在 activity 上搜索了 flow 运行 大小限制，但没有结果。笔记本 activity 的流量 运行 大小限制是多少？
信息如下：
Filename
Blob Size
UID_ISO_FIPS_LookUp_Table.csv
396 KiB
05-11-2021.csv
630 KiB
https://ghoapi.azureedge.net/api
476 KiB
Type
Size
Cell Total
Cluster Size
.ipynb notebook
668,522 bytes
43 cells
Small (4 vCores / 32 GB) - 3 to 3 nodes
这是触发管道后的错误信息
这是笔记本中的示例代码。目的是用一个 table 将三个文件合并为一个文件。 csv 文件的一些处理是过滤、选择列、重命名列和聚合值。
有人可以解释为什么会出现错误消息吗？
我能够在小型 Spark 池中使用以下 Python 代码导入该 .csv：
%%pyspark
df = spark.read.load('abfss://someContainer@somestorageAccount.dfs.core.windows.net/raw/csv/05-11-2021.csv', format='csv'
, header = True
)
display(df.limit(10))
df.createOrReplaceTempView("tmp")
将其保存为临时视图允许您编写一些常规的SQL来查询数据框，例如
%%sql
SELECT SUM(deaths) xsum
FROM tmp
我在 Azure Synapse 中成功创建了一个大型 spark 笔记本，运行。然后我用一个指向现有 spark 笔记本的新笔记本 activity 创建了一个新管道。我触发了它，但失败并显示错误消息：
ErrorCode=FlowRunSizeLimitExceeded, ErrorMessage=Triggering the pipeline failed
due to large run size. This could happen when a run has a large number of
activities or large inputs used in some of the activities, including parameters.
该管道中只有一个 activity；因此，不能超过活动的数量。我在 activity 上搜索了 flow 运行 大小限制，但没有结果。笔记本 activity 的流量 运行 大小限制是多少？
信息如下：
| Filename | Blob Size |
|---|---|
| UID_ISO_FIPS_LookUp_Table.csv | 396 KiB |
| 05-11-2021.csv | 630 KiB |
| https://ghoapi.azureedge.net/api | 476 KiB |
| Type | Size | Cell Total | Cluster Size |
|---|---|---|---|
| .ipynb notebook | 668,522 bytes | 43 cells | Small (4 vCores / 32 GB) - 3 to 3 nodes |
这是触发管道后的错误信息
这是笔记本中的示例代码。目的是用一个 table 将三个文件合并为一个文件。 csv 文件的一些处理是过滤、选择列、重命名列和聚合值。
有人可以解释为什么会出现错误消息吗？
我能够在小型 Spark 池中使用以下 Python 代码导入该 .csv：
%%pyspark
df = spark.read.load('abfss://someContainer@somestorageAccount.dfs.core.windows.net/raw/csv/05-11-2021.csv', format='csv'
, header = True
)
display(df.limit(10))
df.createOrReplaceTempView("tmp")
将其保存为临时视图允许您编写一些常规的SQL来查询数据框，例如
%%sql
SELECT SUM(deaths) xsum
FROM tmp