调试和部署 sagemaker 端点的 featurizer(用于 imodel 推理的数据处理器)
debug and deploy featurizer (data processor for imodel inference) of sagemaker endpoint
我正在研究 this example 在模型 inference/scoring 之前为 sagemaker 端点实现传入原始数据的数据处理。这一切都很好,但我有 2 个问题:
- 如何调试它(例如,我可以在不将端点公开为 restful API 的情况下调用端点,然后使用 Sagemaker 调试器)
- Sagemaker 可以“远程”使用 - 例如通过 VSC。可以通过编程方式上传这样的脚本吗?
谢谢。
Sagemaker Debugger 仅用于监控训练作业。
https://docs.aws.amazon.com/sagemaker/latest/dg/train-debugger.html
我认为您不能在 Endpoints 上使用它。
您提供的脚本用于训练和推理。估算器使用的容器将负责 运行 的功能。所以直接调试脚本是不行的。但是你在代码中调试什么?训练部分还是推理部分?
创建估算器时,我们需要提供 entry_point 或源目录。如果您使用“entry_point”,那么该值应该是文件的相对路径,如果您使用“source_dir”,那么您应该能够提供一个 S3 路径。因此,在 运行 估算器之前,您可以通过编程方式 tar 文件并将其上传到 S3,然后在估算器中使用 S3 路径。
我正在研究 this example 在模型 inference/scoring 之前为 sagemaker 端点实现传入原始数据的数据处理。这一切都很好,但我有 2 个问题:
- 如何调试它(例如,我可以在不将端点公开为 restful API 的情况下调用端点,然后使用 Sagemaker 调试器)
- Sagemaker 可以“远程”使用 - 例如通过 VSC。可以通过编程方式上传这样的脚本吗?
谢谢。
Sagemaker Debugger 仅用于监控训练作业。
https://docs.aws.amazon.com/sagemaker/latest/dg/train-debugger.html
我认为您不能在 Endpoints 上使用它。
您提供的脚本用于训练和推理。估算器使用的容器将负责 运行 的功能。所以直接调试脚本是不行的。但是你在代码中调试什么?训练部分还是推理部分?
创建估算器时,我们需要提供 entry_point 或源目录。如果您使用“entry_point”,那么该值应该是文件的相对路径,如果您使用“source_dir”,那么您应该能够提供一个 S3 路径。因此,在 运行 估算器之前,您可以通过编程方式 tar 文件并将其上传到 S3,然后在估算器中使用 S3 路径。