如何将包含 250K 行的数据集转换为 Palantir Foundry 中的融合支持数据集？

Question

我目前正在为需要包含数据集内容的项目创建模板（从测试到 Pre-PROD/PROD 的步骤）。对于要包含在数据集和模板中的内容，需要对数据集进行融合支持。当我使用现有数据集创建融合 sheet 时，行被截断为 25k 行，仅同步这些行。但现有数据集包含约 25 万行。我无法在文档中找到；我如何有效地将所有数据集内容包含为融合支持。任何帮助表示赞赏。谢谢

Answer 1

It is to be noted that, without having the dataset fusion backed, the dataset will be empty in PROD

你不应该为此使用融合！我假设在使用常规数据集时您可能忘记设置数据集以包含内容，您可以通过选择数据集并将 includeDatasetContents 设置为 true.

来实现

{
  "writeSchemaOnUpdate": true,
  "defaultWriteSchemaOnUpdate": false,
  "includeDatasetContents": true, <------ this must be set to true
  "buildDatasetPostDeploy": true
}

在下图中，您可以找到 Foundry 培训资源（我们在 youtube 频道的视频中使用的同一项目）的模板创建和更新过程的屏幕截图。

作为一个侧面的想法，不想批评你的设计，只是分享一些改进它的技巧。使用融合 sheet 来保存传输数据听起来是个非常糟糕的主意，我建议您重构它。 Fusion 是一个 spreadsheet 工具，用户像任何其他 spreadsheet 工具一样手动使用，如果数据有 250k 行，听起来它很容易出错，如果有人打开它很难检测和修复并错误地编辑任何内容。 Foundry 中有更好的工具可以处理这些大小的数据，即：等高线、转换、代码工作簿等...

如何将包含 250K 行的数据集转换为 Palantir Foundry 中的融合支持数据集？

How can i convert a dataset which contains 250K rows into a fusion backed dataset in Palantir Foundry?

palantir-foundry