如何将 kedro 数据集保存在 azure 中并仍在内存中
How to save kedro dataset in azure and still have it in memory
我想将 Azure 中的 Kedro 内存数据集保存为文件，但仍希望将其保存在内存中，因为我的管道稍后将在管道中使用它。这在 Kedro 有可能吗？我试图查看转码数据集，但看起来不可能。还有其他方法可以实现吗？
我会尝试将数据集显式保存到 Azure 作为节点逻辑的一部分，即 catalog.save()。然后，您可以使用标准节点输入和输出将数据集提供给内存中的下游节点。
这可能是使用 CachedDataSet 的好机会，它允许您包装任何其他数据集，但是一旦它被读入内存 - 使其可用于下游节点而无需重新执行 IO 操作。
我想将 Azure 中的 Kedro 内存数据集保存为文件，但仍希望将其保存在内存中，因为我的管道稍后将在管道中使用它。这在 Kedro 有可能吗？我试图查看转码数据集，但看起来不可能。还有其他方法可以实现吗？
我会尝试将数据集显式保存到 Azure 作为节点逻辑的一部分，即 catalog.save()。然后，您可以使用标准节点输入和输出将数据集提供给内存中的下游节点。
这可能是使用 CachedDataSet 的好机会，它允许您包装任何其他数据集，但是一旦它被读入内存 - 使其可用于下游节点而无需重新执行 IO 操作。