带有 Scikit Learn 的 AWS Sagemaker 多模型端点：使用训练脚本时出现 UnexpectedStatusException

Question

我正在尝试使用 Scikit-learn 和自定义训练脚本在 AWS sagemaker 中创建多模型端点。当我尝试使用以下代码训练我的模型时：

estimator = SKLearn(
    entry_point=TRAINING_FILE, # script to use for training job
    role=role,
    source_dir=SOURCE_DIR, # Location of scripts
    train_instance_count=1,
    train_instance_type=TRAIN_INSTANCE_TYPE,
    framework_version='0.23-1',
    output_path=s3_output_path,# Where to store model artifacts
    base_job_name=_job,
    code_location=code_location,# This is where the .tar.gz of the source_dir will be stored
    hyperparameters = {'max-samples'    : 100,
                       'model_name'     : key})

DISTRIBUTION_MODE = 'FullyReplicated'

train_input = sagemaker.s3_input(s3_data=inputs+'/train', 
                                  distribution=DISTRIBUTION_MODE, content_type='csv')
    
estimator.fit({'train': train_input}, wait=True)

其中 'TRAINING_FILE' 包含：


import argparse
import os

import numpy as np
import pandas as pd
import joblib
import sys

from sklearn.ensemble import IsolationForest

if __name__ == '__main__':
    parser = argparse.ArgumentParser()

    parser.add_argument('--max_samples', type=int, default=100)
    
    parser.add_argument('--model_dir', type=str, default=os.environ.get('SM_MODEL_DIR'))
    parser.add_argument('--train', type=str, default=os.environ.get('SM_CHANNEL_TRAIN'))
    parser.add_argument('--model_name', type=str)

    args, _ = parser.parse_known_args()

    print('reading data. . .')
    print('model_name: '+args.model_name)    
    
    train_file = os.path.join(args.train, args.model_name + '_train.csv')    
    train_df = pd.read_csv(train_file) # read in the training data
    train_tgt = train_df.iloc[:, 1] # target column is the second column
    
    clf = IsolationForest(max_samples = args.max_samples)
    clf = clf.fit([train_tgt])
    
    path = os.path.join(args.model_dir, 'model.joblib')
    joblib.dump(clf, path)
    print('model persisted at ' + path)

训练脚本成功，但 sagemaker 抛出 UnexpectedStatusException：

有没有人以前经历过这样的事情？我已经检查了所有的 cloudwatch 日志，但没有发现任何用处，我完全不知道下一步该怎么做。

Answer 1

对于以后遇到这个问题的人来说，问题已经解决了。

问题与训练无关，而是目录名称中的无效字符被发送到 S3。因此脚本会正确生成工件，但 sagemaker 在尝试将它们保存到 S3

时会抛出异常

带有 Scikit Learn 的 AWS Sagemaker 多模型端点：使用训练脚本时出现 UnexpectedStatusException

AWS Sagemaker Multi-Model Endpoint with Scikit Learn: UnexpectedStatusException whilst using a training script

python

amazon-web-services

scikit-learn

amazon-sagemaker