Boost Beast 服务器响应延迟 1 秒
Boost Beast 1 second delay in server response
我正在尝试使用 boost::beast 创建 HTTP 服务器,但我注意到响应时间延迟了一秒。我使用高级服务器示例和同步客户端示例来对这种行为进行基准测试。
也曾尝试禁用 Nagle 的算法,但没有效果,似乎不是优化问题。
每隔几秒手动发出一个请求,因此服务器端的高负载是不合理的。
它似乎与 boost::asio 套接字有关,因为我前段时间也创建了一个 HTTP 服务器(我认为使用 boost::asio - Boost v1.64,当 Beast 不在时)并且我体验到相同的高响应时间 - 这就是我切换到 Beast 的原因。
我的问题:
这是 boost::asio 套接字的已知行为吗?
这个延迟可以解决吗?
为什么在套接字上设置 no_delay 可能不起作用?
基准测试结果:
示例服务器的平均响应时间在 1005 毫秒到 1020 毫秒之间,如下面的屏幕截图所示。
相比之下,同一个客户端在 120 毫秒内收到来自 google.com 的响应。
Here 是对本地服务器的请求与对 www 的请求之间的比较。google.com
因此问题又来了:这 900 毫秒的延迟从何而来?
这不是任何 HTTP 服务器可接受的响应时间。
并且还尝试了 fast example server and the synchronous server example 结果相同:超过 1000 毫秒的响应时间。
基准设置
测试系统:
- Windows 10 专业版 x64
- 处理器英特尔 i7-7700,16GB 内存
- 提升 1.66
- Visual Studio 2015
已在 x86 和 x64 中使用调试和发布版本进行测试。正如预期的那样,唯一的区别是在调试版本上有 20-30 毫秒的额外延迟。
服务器设置
- 我从 Beast 文档中获取了 advanced server example
- 2015 年 Visual Studio 创建了一个新的空控制台项目
- 将示例代码添加到新的 cpp 源文件
- 在项目属性 > VC++ 目录 > 包含目录中设置 boost "...boost\include" 包含文件夹
- 在项目的属性 > VC++ 目录 > 库目录中设置 boost 库文件夹
- 在 C/C++ > 预处理器中添加了“_WIN32_WINNT=0x0601”
- 在调试 > 命令参数中,我添加了“0.0.0.0 8080 . 3”,这意味着 "bind server to all local addresses with port 8080, using . (current directory) as root folder and run server on 3 threads"。
客户端设置
- 我使用了 Beast 文档中的 synchronous client
- 创建了一个类似的 Visual Studio 项目
为了测量请求时间,我在客户端代码中添加了计时器,并注释掉了对 cout 的响应输出:
auto start = std::chrono::steady_clock::now();
/* client code */
// printing the response to cout can slow the client
//std::cout << res << std::endl;
auto finish = std::chrono::steady_clock::now();
auto ms = std::chrono::duration_cast<std::chrono::milliseconds>(finish - start);
std::cout << "request time: " << ms.count() << "\n";
这是禁用 TCP 延迟的客户端代码:
boost::asio::connect(socket, results.begin(), results.end());
socket.set_option(tcp::no_delay(true));
这是对服务器示例代码的唯一修改。
以及禁用 TCP 延迟的服务器代码:
void
on_accept(boost::system::error_code ec)
{
if(ec)
{
fail(ec, "accept");
}
else
{
// disable TCP delay
socket_.set_option(tcp::no_delay(true));
// Create the http_session and run it
std::make_shared<http_session>(
std::move(socket_),
doc_root_)->run();
}
// Accept another connection
do_accept();
}
这里是修改后的客户端:
//
// Copyright (c) 2016-2017 Vinnie Falco (vinnie dot falco at gmail dot com)
//
// Distributed under the Boost Software License, Version 1.0. (See accompanying
// file LICENSE_1_0.txt or copy at http://www.boost.org/LICENSE_1_0.txt)
//
// Official repository: https://github.com/boostorg/beast
//
//------------------------------------------------------------------------------
//
// Example: HTTP client, synchronous
//
//------------------------------------------------------------------------------
//[example_http_client
#include <boost/beast/core.hpp>
#include <boost/beast/http.hpp>
#include <boost/beast/version.hpp>
#include <boost/asio/connect.hpp>
#include <boost/asio/ip/tcp.hpp>
#include <cstdlib>
#include <iostream>
#include <string>
#include <chrono>
using tcp = boost::asio::ip::tcp; // from <boost/asio/ip/tcp.hpp>
namespace http = boost::beast::http; // from <boost/beast/http.hpp>
// Performs an HTTP GET and prints the response
int main(int argc, char** argv)
{
try
{
// Check command line arguments.
if(argc != 4 && argc != 5)
{
std::cerr <<
"Usage: http-client-sync <host> <port> <target> [<HTTP version: 1.0 or 1.1(default)>]\n" <<
"Example:\n" <<
" http-client-sync www.example.com 80 /\n" <<
" http-client-sync www.example.com 80 / 1.0\n";
return EXIT_FAILURE;
}
auto const host = argv[1];
auto const port = argv[2];
auto const target = argv[3];
int version = argc == 5 && !std::strcmp("1.0", argv[4]) ? 10 : 11;
auto start = std::chrono::steady_clock::now();
// The io_context is required for all I/O
boost::asio::io_context ioc;
// These objects perform our I/O
tcp::resolver resolver{ioc};
tcp::socket socket{ioc};
// Look up the domain name
auto const results = resolver.resolve(host, port);
// Make the connection on the IP address we get from a lookup
boost::asio::connect(socket, results.begin(), results.end());
//socket.set_option(tcp::no_delay(true));
// Set up an HTTP GET request message
http::request<http::string_body> req{http::verb::get, target, version};
req.set(http::field::host, host);
req.set(http::field::user_agent, BOOST_BEAST_VERSION_STRING);
// Send the HTTP request to the remote host
http::write(socket, req);
// This buffer is used for reading and must be persisted
boost::beast::flat_buffer buffer;
// Declare a container to hold the response
http::response<http::dynamic_body> res;
// Receive the HTTP response
http::read(socket, buffer, res);
// Write the message to standard out
//std::cout << res << std::endl;
// Gracefully close the socket
boost::system::error_code ec;
socket.shutdown(tcp::socket::shutdown_both, ec);
// not_connected happens sometimes
// so don't bother reporting it.
//
if(ec && ec != boost::system::errc::not_connected)
throw boost::system::system_error{ec};
// If we get here then the connection is closed gracefully
auto finish = std::chrono::steady_clock::now();
auto ms = std::chrono::duration_cast<std::chrono::milliseconds>(finish - start);
std::cout << "request time: " << ms.count() << "\n";
}
catch(std::exception const& e)
{
std::cerr << "Error: " << e.what() << std::endl;
return EXIT_FAILURE;
}
return EXIT_SUCCESS;
}
//]
我在 Visual Studio 2017 和 Windows 10 上针对 advanced-server 示例的调试版本尝试了 运行 你程序的调试版本。这是输出:
request time: 5
我认为 5 毫秒很合理:)
尝试在调用 http::read
之前初始化开始时间:
// Receive the HTTP response
auto start = std::chrono::steady_clock::now();
http::read(socket, buffer, res);
这样我们可以查明 DNS 查找是否执行缓慢(有可能)。
我认为 TCP_NODELAY 根本没有帮助,它增加的延迟是最小的,而且 Windows 我相信环回设备没有实现它。您看到的延迟远远大于 Nagle 算法可能强加的任何延迟。
这些服务器应该在所有正确配置的平台上以最小的延迟和相当快的结果执行,我不确定在您的特定情况下发生了什么,但我确信这是与操作系统或环境相关的问题.
现在想想修复是多么容易,这很愚蠢:)
为任何想知道解决方案的人发帖:
将 "localhost" 替换为 IP,例如从客户端发送请求时为“127.0.0.1”。
Here 是使用 127.0.0.1 而不是 "localhost" 的新响应时间。
这似乎是 Windows 配置问题。 C:\Windows\System32\drivers\etc\hosts 文件包含
# localhost name resolution is handled within DNS itself.
# 127.0.0.1 localhost
但是解析 "localhost" 的行被注释掉了,DNS 解析很慢。
我正在尝试使用 boost::beast 创建 HTTP 服务器,但我注意到响应时间延迟了一秒。我使用高级服务器示例和同步客户端示例来对这种行为进行基准测试。
也曾尝试禁用 Nagle 的算法,但没有效果,似乎不是优化问题。
每隔几秒手动发出一个请求,因此服务器端的高负载是不合理的。
它似乎与 boost::asio 套接字有关,因为我前段时间也创建了一个 HTTP 服务器(我认为使用 boost::asio - Boost v1.64,当 Beast 不在时)并且我体验到相同的高响应时间 - 这就是我切换到 Beast 的原因。
我的问题:
这是 boost::asio 套接字的已知行为吗?
这个延迟可以解决吗?
为什么在套接字上设置 no_delay 可能不起作用?
基准测试结果:
示例服务器的平均响应时间在 1005 毫秒到 1020 毫秒之间,如下面的屏幕截图所示。 相比之下,同一个客户端在 120 毫秒内收到来自 google.com 的响应。
Here 是对本地服务器的请求与对 www 的请求之间的比较。google.com
因此问题又来了:这 900 毫秒的延迟从何而来? 这不是任何 HTTP 服务器可接受的响应时间。
并且还尝试了 fast example server and the synchronous server example 结果相同:超过 1000 毫秒的响应时间。
基准设置
测试系统:
- Windows 10 专业版 x64
- 处理器英特尔 i7-7700,16GB 内存
- 提升 1.66
- Visual Studio 2015
已在 x86 和 x64 中使用调试和发布版本进行测试。正如预期的那样,唯一的区别是在调试版本上有 20-30 毫秒的额外延迟。
服务器设置
- 我从 Beast 文档中获取了 advanced server example
- 2015 年 Visual Studio 创建了一个新的空控制台项目
- 将示例代码添加到新的 cpp 源文件
- 在项目属性 > VC++ 目录 > 包含目录中设置 boost "...boost\include" 包含文件夹
- 在项目的属性 > VC++ 目录 > 库目录中设置 boost 库文件夹
- 在 C/C++ > 预处理器中添加了“_WIN32_WINNT=0x0601”
- 在调试 > 命令参数中,我添加了“0.0.0.0 8080 . 3”,这意味着 "bind server to all local addresses with port 8080, using . (current directory) as root folder and run server on 3 threads"。
客户端设置
- 我使用了 Beast 文档中的 synchronous client
- 创建了一个类似的 Visual Studio 项目
为了测量请求时间,我在客户端代码中添加了计时器,并注释掉了对 cout 的响应输出:
auto start = std::chrono::steady_clock::now();
/* client code */
// printing the response to cout can slow the client
//std::cout << res << std::endl;
auto finish = std::chrono::steady_clock::now();
auto ms = std::chrono::duration_cast<std::chrono::milliseconds>(finish - start);
std::cout << "request time: " << ms.count() << "\n";
这是禁用 TCP 延迟的客户端代码:
boost::asio::connect(socket, results.begin(), results.end());
socket.set_option(tcp::no_delay(true));
这是对服务器示例代码的唯一修改。 以及禁用 TCP 延迟的服务器代码:
void
on_accept(boost::system::error_code ec)
{
if(ec)
{
fail(ec, "accept");
}
else
{
// disable TCP delay
socket_.set_option(tcp::no_delay(true));
// Create the http_session and run it
std::make_shared<http_session>(
std::move(socket_),
doc_root_)->run();
}
// Accept another connection
do_accept();
}
这里是修改后的客户端:
//
// Copyright (c) 2016-2017 Vinnie Falco (vinnie dot falco at gmail dot com)
//
// Distributed under the Boost Software License, Version 1.0. (See accompanying
// file LICENSE_1_0.txt or copy at http://www.boost.org/LICENSE_1_0.txt)
//
// Official repository: https://github.com/boostorg/beast
//
//------------------------------------------------------------------------------
//
// Example: HTTP client, synchronous
//
//------------------------------------------------------------------------------
//[example_http_client
#include <boost/beast/core.hpp>
#include <boost/beast/http.hpp>
#include <boost/beast/version.hpp>
#include <boost/asio/connect.hpp>
#include <boost/asio/ip/tcp.hpp>
#include <cstdlib>
#include <iostream>
#include <string>
#include <chrono>
using tcp = boost::asio::ip::tcp; // from <boost/asio/ip/tcp.hpp>
namespace http = boost::beast::http; // from <boost/beast/http.hpp>
// Performs an HTTP GET and prints the response
int main(int argc, char** argv)
{
try
{
// Check command line arguments.
if(argc != 4 && argc != 5)
{
std::cerr <<
"Usage: http-client-sync <host> <port> <target> [<HTTP version: 1.0 or 1.1(default)>]\n" <<
"Example:\n" <<
" http-client-sync www.example.com 80 /\n" <<
" http-client-sync www.example.com 80 / 1.0\n";
return EXIT_FAILURE;
}
auto const host = argv[1];
auto const port = argv[2];
auto const target = argv[3];
int version = argc == 5 && !std::strcmp("1.0", argv[4]) ? 10 : 11;
auto start = std::chrono::steady_clock::now();
// The io_context is required for all I/O
boost::asio::io_context ioc;
// These objects perform our I/O
tcp::resolver resolver{ioc};
tcp::socket socket{ioc};
// Look up the domain name
auto const results = resolver.resolve(host, port);
// Make the connection on the IP address we get from a lookup
boost::asio::connect(socket, results.begin(), results.end());
//socket.set_option(tcp::no_delay(true));
// Set up an HTTP GET request message
http::request<http::string_body> req{http::verb::get, target, version};
req.set(http::field::host, host);
req.set(http::field::user_agent, BOOST_BEAST_VERSION_STRING);
// Send the HTTP request to the remote host
http::write(socket, req);
// This buffer is used for reading and must be persisted
boost::beast::flat_buffer buffer;
// Declare a container to hold the response
http::response<http::dynamic_body> res;
// Receive the HTTP response
http::read(socket, buffer, res);
// Write the message to standard out
//std::cout << res << std::endl;
// Gracefully close the socket
boost::system::error_code ec;
socket.shutdown(tcp::socket::shutdown_both, ec);
// not_connected happens sometimes
// so don't bother reporting it.
//
if(ec && ec != boost::system::errc::not_connected)
throw boost::system::system_error{ec};
// If we get here then the connection is closed gracefully
auto finish = std::chrono::steady_clock::now();
auto ms = std::chrono::duration_cast<std::chrono::milliseconds>(finish - start);
std::cout << "request time: " << ms.count() << "\n";
}
catch(std::exception const& e)
{
std::cerr << "Error: " << e.what() << std::endl;
return EXIT_FAILURE;
}
return EXIT_SUCCESS;
}
//]
我在 Visual Studio 2017 和 Windows 10 上针对 advanced-server 示例的调试版本尝试了 运行 你程序的调试版本。这是输出:
request time: 5
我认为 5 毫秒很合理:)
尝试在调用 http::read
之前初始化开始时间:
// Receive the HTTP response
auto start = std::chrono::steady_clock::now();
http::read(socket, buffer, res);
这样我们可以查明 DNS 查找是否执行缓慢(有可能)。
我认为 TCP_NODELAY 根本没有帮助,它增加的延迟是最小的,而且 Windows 我相信环回设备没有实现它。您看到的延迟远远大于 Nagle 算法可能强加的任何延迟。
这些服务器应该在所有正确配置的平台上以最小的延迟和相当快的结果执行,我不确定在您的特定情况下发生了什么,但我确信这是与操作系统或环境相关的问题.
现在想想修复是多么容易,这很愚蠢:)
为任何想知道解决方案的人发帖: 将 "localhost" 替换为 IP,例如从客户端发送请求时为“127.0.0.1”。
Here 是使用 127.0.0.1 而不是 "localhost" 的新响应时间。
这似乎是 Windows 配置问题。 C:\Windows\System32\drivers\etc\hosts 文件包含
# localhost name resolution is handled within DNS itself.
# 127.0.0.1 localhost
但是解析 "localhost" 的行被注释掉了,DNS 解析很慢。