Tornado 服务器将文件发送到远程客户端阻止服务器

Question

所以想用Tornado实现一个简单的文件下载服务器。这是我目前拥有的代码：

class downloadHandler(tornado.web.RequestHandler):
    @tornado.web.asynchronous
    def get(self):
        global data
        self.write(data)
        self.flush()
        self.finish()

def get_buf(path):
    buf = bytearray(os.path.getsize(path))
    with open(path, 'rb') as f:
        f.readinto(buf)
    return bytes(buf)

if __name__ == '__main__':
    data = get_buf('path/to/file')
    tornado.options.parse_command_line()
    app = tornado.web.Application(handlers=[(r"/upgrade", downloadHandler)])
    http_server = tornado.httpserver.HTTPServer(app)
    http_server.listen(options.port)
    tornado.ioloop.IOLoop.instance().start()

如您所见，我将文件读入字节数组并将其转换为字节对象，这只在启动服务器之前完成一次。我所做的只是将数据写入远程客户端。文件大小约为 2MB。我用 'siege' 测试它，结果看起来客户端正在一个接一个地接收他们的数据，而不是以并发的方式。

siege http://xxx.xx.xx.xx:8000/upgrade -c5 -r1
** SIEGE 4.0.2
** Preparing 5 concurrent users for battle.
The server is now under siege...
HTTP/1.1 200    20.22 secs: 1969682 bytes ==> GET  /upgrade
HTTP/1.1 200    34.24 secs: 1969682 bytes ==> GET  /upgrade
HTTP/1.1 200    48.24 secs: 1969682 bytes ==> GET  /upgrade
HTTP/1.1 200    62.24 secs: 1969682 bytes ==> GET  /upgrade
HTTP/1.1 200    76.25 secs: 1969682 bytes ==> GET  /upgrade

我查看了tornado文档，我认为self.write()是一个非阻塞调用，我调用了self.flush()。那么是什么阻止了服务器？

我也试过tornado.web.StaticFileHandler，结果都差不多

PS：龙卷风是这里的正确工具吗？如果不是，还有哪些其他替代方法可以满足我的需求？

Answer 1

尝试以块的形式写入数据，也许是 256 KB，而不是一次全部：

class downloadHandler(tornado.web.RequestHandler):
    async def get(self):
        chunk_size = 256 * 1024
        for i in range(0, len(data), chunk_size):
            self.write(bytes(data[i:i + chunk_size]))
            await self.flush()

        self.finish()

def get_buf(path):
    buf = bytearray(os.path.getsize(path))
    with open(path, 'rb') as f:
        f.readinto(buf)
    return buf

分块写入允许 Tornado 的 IOLoop 重新获得写入之间的控制权（这就是 "await" 所做的），因此可以同时做几件事。

请注意，您可以通过将数据保留为字节数组而不是转换为字节来节省一些数据复制。

我的代码是 Python 3.5+。在 2.7 中，执行：

@gen.coroutine
def get(self):
    chunk_size = 256 * 1024
    for i in range(0, len(data), chunk_size):
        self.write(bytes(data[i:i + chunk_size]))
        yield self.flush()

    self.finish()

Tornado 服务器将文件发送到远程客户端阻止服务器

Tornado server sending file to remote client blocks server

python

concurrency

tornado

nonblocking