如何使用批量转换作业将更大的 .csv 文件传递​​给 amazon sagemaker 进行预测

Question

我创建了一个自定义模型并将其部署在 sagemaker 上。我正在使用批量转换作业调用端点。如果输入文件很小，即 csv 文件中的行数较少，它就可以工作。如果我上传一个包含大约 200000 行的文件，我会在 cloudwatch 日志中收到此错误。

2018-11-21 09:11:52.666476: W external/org_tensorflow/tensorflow/core/framework/allocator.cc:113]
Allocation of 2878368000 exceeds 10% of system memory.
2018-11-21 09:11:53.166493: W external/org_tensorflow/tensorflow/core/framework/allocator.cc:113] 
Allocation of 2878368000 exceeds 10% of system memory.
[2018-11-21 09:12:02,544] ERROR in serving: <_Rendezvous of RPC that 
terminated with:
#011status = StatusCode.DEADLINE_EXCEEDED
#011details = "Deadline Exceeded"
#011debug_error_string = "
{
"created": "@1542791522.543282048",
"description": "Error received from peer",
"file": "src/core/lib/surface/call.cc",
"file_line": 1017,
"grpc_message": "Deadline Exceeded",
"grpc_status": 4
}
"

任何可能出错的想法。这是我用来创建转换作业的转换函数。

transformer =sagemaker.transformer.Transformer(
base_transform_job_name='Batch-Transform',
model_name='sagemaker-tensorflow-2018-11-21-07-58-15-887',
instance_count=1,
instance_type='ml.m4.xlarge',
output_path='s3://2-n2m-sagemaker-json-output/out_files/'

)
input_location = 's3://1-n2m-n2g-csv-input/smal_sagemaker_sample.csv'
transformer.transform(input_location, content_type='text/csv', split_type='Line')

.csv 文件包含 2 列客户的名字和姓氏，然后我使用 input_fn() 在 sagemaker 中对其进行预处理。

Answer 1

错误看起来是由于 GRPC 客户端在服务器能够响应之前关闭了连接。 （https://github.com/aws/sagemaker-tensorflow-container/issues/46 上似乎有一个针对 sagemaker tensorflow 容器的现有功能请求，以使此超时可配置）

您可以尝试使用 sagemaker Transformer 来限制每个单独请求的大小，使其符合超时：

• 将 max_payload 设置为较小的值，比如 2-3 MB (the default is 6 MB)
• 如果您的实例指标表明它有可用的计算/内存资源，请尝试 max_concurrent_transforms > 1 以使用多个工作程序
• 将您的 csv 文件拆分为多个输入文件。使用更大的数据集，您还可以增加实例数以扇出处理

Answer 2

进行了更改并合并到允许用户通过环境变量配置超时，SAGEMAKER_TFS_GRPC_REQUEST_TIMEOUT。

• https://github.com/aws/sagemaker-tensorflow-container/pull/135

• https://github.com/aws/sagemaker-tensorflow-container/blob/master/src/tf_container/proxy_client.py#L30