在 Seldon Core 上将模型 A 的输出路由为模型 B 的输入

Route the output of model A as the input of model B on Seldon Core

我正在测试 Seldon Core,想知道是否有一种简单的方法可以将模型 A 的输出路由为 Seldon Core 上模型 B 的输入。 最佳做法是什么?

在 SeldonDeployment 资源定义中,您有一个图表部分。顶级元素是第一步,它包含下一步的子元素。这是一个片段 from an example,显示了在将请求传递给模型之前使用转换器来转换请求:

    graph:
      children:
        - children: []
          implementation: XGBOOST_SERVER
          name: model
          modelUri: s3://model-image
          type: MODEL
      endpoint:
        type: REST
      name: feature-transformer
      type: TRANSFORMER

有一个example in the seldon documentation where steps such as clean and tokenize are used to perform inference for natural language processing. That example has multiple steps as type MODEL. There's also discussion on this in the seldon slack channel