Yolo v5 将所有 nginx 核心用于单个请求

Question

我开发了一个使用 Yolo v5 的 API（基于 Flask）。我使用 Ngnix 和 Gunicorn 来提供这项服务。只需一个请求，一切正常。不管我给10核CPU还是50核CPU，一次只回复一个请求

权重全部在请求外加载，请求时只使用加载的权重

weights = "./x.pt"
imgsz = 640
device = ""
set_logging()
device = select_device(device)
# Load model
model = attempt_load(weights, map_location=device)  # load FP32 model
stride = int(model.stride.max())  # model stride
imgsz = check_img_size(imgsz, s=stride)  # check img_size
# Second-stage classifier
classify = False
if classify:
    modelc = load_classifier(name='resnet101', n=2)  # initialize
    modelc.load_state_dict(torch.load('resnet101.pt', map_location=device)['model']).to(device).eval()



@application.route("URL", methods=['POST'])
def XXX():
        ...
        ...
        ...

如果有任何建议，我将不胜感激。谢谢，也对我的英语感到抱歉。

Answer 1

问题已解决。我总是将 Worker 的数量（在 Gunicorn 设置中）设置为等于 CPU 核心的数量。有问题。当我将工人数量设置为1时，问题就解决了。

文件地址(centos):

 /etc/systemd/system/X.service

更改为：

WorkingDirectory=X
Environment="PATH=X"
ExecStart=X/venv/bin/gunicorn --workers 1 --timeout 200 --bind unix:X.sock -m 007 run

Yolo v5 将所有 nginx 核心用于单个请求

Yolo v5 use all nginx cores for single request

python

nginx

gunicorn

deep-learning

yolo