如何使用 ODATA 查询从 azure table 存储导入到 Azure 机器学习工作室?
How can I import into Azure machine learning studio from azure table storage with ODATA query?
Azure 的导入数据模块 Table 文档可在此处找到:https://msdn.microsoft.com/en-us/library/azure/mt674699
其中提到:
The Import Data module does not support filtering as data is being read. The exception is reading from data feeds, which sometimes allow you to specify a filter condition as part of the feed URL.
我们的 table 存储中有大量数据,每次 运行 实验时重新下载整个数据集是不可行的。我知道有缓存数据的选项,但是不断插入新数据,我们希望能够在实验 运行.
时使用新数据
是否有导入数据模块的替代方案,我们可以使用它来通过 ODATA 查询获取 table 存储数据?
没有通用的方法来增量更新数据集。
但是,根据您要对数据执行的操作,添加新数据有不同的选项:
添加行模块有效地连接了两个数据集。因此,您可以在左侧输入中使用旧的缓存数据集,并在右侧输入中添加新数据。这样你只需要读入新数据。
但是,您必须创建一些复杂的逻辑来确定哪些行是新的和旧的,然后在 Azure ML 之外维护它。
您可以创建基于 table 存储的 OData 源,以启用过滤并以这种方式获取新数据。请注意,目前仅支持 public 个供稿。并且您必须使用 Join 或 Add Rows 来重新组合旧数据和新数据,如上所述。
您还可以研究使用 table names、分区和行键对数据进行分块的方法。
如果您正在重新训练模型并且想要更新特征统计信息,Learning with Counts 模块支持增量更新基于计数的特征。
Azure 的导入数据模块 Table 文档可在此处找到:https://msdn.microsoft.com/en-us/library/azure/mt674699
其中提到:
The Import Data module does not support filtering as data is being read. The exception is reading from data feeds, which sometimes allow you to specify a filter condition as part of the feed URL.
我们的 table 存储中有大量数据,每次 运行 实验时重新下载整个数据集是不可行的。我知道有缓存数据的选项,但是不断插入新数据,我们希望能够在实验 运行.
时使用新数据是否有导入数据模块的替代方案,我们可以使用它来通过 ODATA 查询获取 table 存储数据?
没有通用的方法来增量更新数据集。
但是,根据您要对数据执行的操作,添加新数据有不同的选项:
添加行模块有效地连接了两个数据集。因此,您可以在左侧输入中使用旧的缓存数据集,并在右侧输入中添加新数据。这样你只需要读入新数据。 但是,您必须创建一些复杂的逻辑来确定哪些行是新的和旧的,然后在 Azure ML 之外维护它。
您可以创建基于 table 存储的 OData 源,以启用过滤并以这种方式获取新数据。请注意,目前仅支持 public 个供稿。并且您必须使用 Join 或 Add Rows 来重新组合旧数据和新数据,如上所述。
您还可以研究使用 table names、分区和行键对数据进行分块的方法。
如果您正在重新训练模型并且想要更新特征统计信息,Learning with Counts 模块支持增量更新基于计数的特征。