在德鲁伊摄入期间过滤掉事件

Question

我正在逐个事件地将数据提取到德鲁伊数据库中，但我想删除所有特定于特定用户的事件。

例如。在摄取数据时，我想删除所有具有 name="Ram"

的条目的事件

Answer 1

您可以使用 filters 属性或 transformSpec 来过滤摄取期间的事件。这是在摄取规范中指定过滤器的标准方法。根据文档，

Transform specs allow Druid to filter and transform input data during ingestion.

任何 Druid filter 都可以用在 transformSpec 中。对于前。在这种情况下，过滤掉特定名称 transformSpec 将是这样的：

"transformSpec": {
    "filter": {
       "type": "not",
       "field": {
          "type": "selector",
          "dimension": "name",
          "value": "Ram"
       }
    },
    "transforms": []
}

可以在此处找到有关转换规范的更多详细信息：Transform Spec Documentation Link

在德鲁伊摄入期间过滤掉事件

Filter out events during ingestion in druid

druid