有没有办法填充特定于数据集的列描述？

Question

数据集 1 和数据集 2 具有相同的列名但描述不同。在数据集 1 转换中，我会说我正在处理数据集 1，因此它必须优先考虑该数据集 1 的特定描述。如果我正在对另一个数据集进行转换，我想优先考虑该数据集。有没有办法填充特定于数据集的列描述？

例如my_compute_function中的参数有没有办法传递必须优先考虑的数据集名称 Column1，数据集 1 的列说明，{Dataset 1 name}。 Column1，数据集 2 的列说明，{Dataset 2 name}， ...

from transforms.api import transform, Input, Output


@transform(
    my_output=Output("/my/output"),
    my_input=Input("/my/input"),
)

def my_compute_function(my_input, my_output):
    my_output.write_dataframe(
        my_input.dataframe(),
        column_descriptions={
            "col_1": "col 1 description"
        },
         ???  
    )

Answer 1

一种方法是为所有数据集提供 'override dictionary'，其中 dataset-specific 描述优先。

即你有：

from transforms.api import transform, Input, Output

GENERAL_DESCRIPTIONS = {
  "col_1": "my general description"
}

LOCAL_DESCRIPTIONS = {
  "/path/to/my/dataset": {
    "col_1": "my override description"
  }
}

@transform(
  my_output=Output("/path/to/my/dataset"),
  my_input=Input("/path/to/input"),
)
def my_compute_function(my_output, my_input):
  local_updates = LOCAL_DESCRIPTIONS.get(my_output.path, {})
  local_descriptions = GENERAL_DESCRIPTIONS.copy()
  local_descriptions.update(local_updates)
  my_output.write_dataframe(
    my_input.dataframe(),
    column_descriptions=local_descriptions
  )

这将允许您将 GENERAL_DESCRIPTIONS 放在模块的根目录中，并在顶部的每个转换 .py 文件中覆盖您的 'local' 描述。您甚至可以将 'local' 描述放在一组转换之上，这样您就不必检查每个文件来指定覆盖。

更新描述字典最精细的方法是：

...
GENERAL_DESCRIPTIONS = {
  "col_1": "my general description"
}

LOCAL_DESCRIPTIONS = {
  "col_1": "my override description"
}

...
def my_compute_function(my_output, my_input):
  local_descriptions = GENERAL_DESCRIPTIONS.copy()
  local_descriptions.update(LOCAL_DESCRIPTIONS)
  ...

有没有办法填充特定于数据集的列描述？

Is there a way to populate column descriptions specific to data set?

palantir-foundry

foundry-code-repositories

foundry-python-transform