如何在 AWS sagemaker 中自定义编码推理管道？

Question

我正在构建一个时间序列用例来自动化预处理和重新训练 tasks.At 首先使用 numpy、pandas、statsmodels 等对数据进行预处理，然后应用机器学习算法进行预测. 使用推理管道的原因是它重复使用相同的预处理代码进行训练和推理。我已经用 spark 和 sci-kit learn 检查了 AWS sagemaker 团队给出的例子。在这两个示例中，他们都使用 sci-kit 学习容器来适应和转换他们的预处理代码。我是否还必须创建一个在我的用例中不需要的容器，因为我没有使用任何 sci-kit-learn 代码？

有人可以给我一个使用这些管道的自定义示例吗？感谢您的帮助！

调查的来源：

https://github.com/awslabs/amazon-sagemaker-examples/tree/master/sagemaker-python-sdk/scikit_learn_inference_pipeline https://github.com/awslabs/amazon-sagemaker-examples/tree/master/advanced_functionality/inference_pipeline_sparkml_blazingtext_dbpedia

Answer 1

抱歉回复晚了。

下面是一些关于推理管道的文档： https://docs.aws.amazon.com/sagemaker/latest/dg/inference-pipelines.html https://docs.aws.amazon.com/sagemaker/latest/dg/inference-pipeline-real-time.html

Should I also have to create a container which is not needed in my use case as I am not using any sci-kit-learn code?

您的容器封装了您的自定义代码所需的环境，以便 运行 正确。根据上面列出的要求，numpy, pandas, statsmodels etc & later a machine learning algorithm，如果您希望隔离依赖项或修改现有的预定义 SageMaker 容器（例如 scikit-learn 容器）并将您的依赖项添加到其中，我会创建一个容器。

Can someone give me a custom example of using these pipelines? Any help is appreciated!

不幸的是，上面提到的两个示例笔记本是唯一使用推理管道的示例。最大的障碍很可能是创建容器来完成您正在寻找的预处理和预测任务，然后将这两者组合到推理管道中。