从 Ignite 缓存导出数据
Exporting data from the Ignite cache
我看到了多个使用 Apache Ignite 加载和处理数据的示例。但是如何在处理完数据后从 ignite 缓存中导出数据呢？
我期待在集群上实现对一些大型 CSV 文件的处理。假设这是一个对特定列中的数据进行预处理的简单转换。完成后，如何将其从缓存中取出到 S3 存储桶或其他位置。我的数据将跨节点分区以提高加载速度并作为 KV 缓存加载。
是否有从缓存中导出数据的标准机制（CSV 输入/CSV 输出）？我发现 ML 模型可以利用 Exporter API。但这不是我的用例。
扫描查询是实现我想要的目标的标准方法吗？
如果要导出整个数据集，可以，
ScanQuery in combination with AffinityRun 对于每个分区可能是迭代所有缓存条目并导出它们的最有效方法。
affinityRun我们要求每个节点导出其部分数据，而不是将数据拉到单个节点进行导出。
sqlline 实用程序随 Apache Ignite 一起提供，它还可以使用 !outputFormat csv.
编写 CSV 文件
我看到了多个使用 Apache Ignite 加载和处理数据的示例。但是如何在处理完数据后从 ignite 缓存中导出数据呢？
我期待在集群上实现对一些大型 CSV 文件的处理。假设这是一个对特定列中的数据进行预处理的简单转换。完成后，如何将其从缓存中取出到 S3 存储桶或其他位置。我的数据将跨节点分区以提高加载速度并作为 KV 缓存加载。
是否有从缓存中导出数据的标准机制（CSV 输入/CSV 输出）？我发现 ML 模型可以利用 Exporter API。但这不是我的用例。
扫描查询是实现我想要的目标的标准方法吗？
如果要导出整个数据集，可以，
ScanQuery in combination with AffinityRun 对于每个分区可能是迭代所有缓存条目并导出它们的最有效方法。
affinityRun我们要求每个节点导出其部分数据，而不是将数据拉到单个节点进行导出。
sqlline 实用程序随 Apache Ignite 一起提供，它还可以使用 !outputFormat csv.