为什么我的简单 cpp-netlib 程序需要这么长时间才能编译?
Why does my simple cpp-netlib program take so long to compile?
我最近开始学习 cpp-netlib 并且正在测试一个 netlibs 示例程序
#include <boost/network/protocol/http/client.hpp>
#include <iostream>
int main()
{
using namespace boost::network;
http::client client;
http::client::request request("http://www.boost.org");
request << header("Connection", "close");
http::client::response response = client.get(request);
std::cout << body(response) << std::endl;
return 0;
}
经过几个小时的研究,我发现编译我的程序需要使用的正确命令是
clang++ -std=c++11 -I /usr/local/Cellar/openssl/1.0.2e/include test.cpp -L /usr/local/Cellar/openssl/1.0.2e/lib -lboost_system-mt -lboost_thread-mt -lcppnetlib-client-connections -lcppnetlib-uri -lcppnetlib-server-parsers -lssl -lcrypto
这是 link 我发布的一个较旧的问题,详细说明了我是如何找到编译该程序所需的一切的
我发现编译大约需要 15 秒,想知道是否有办法加快这个过程?编译这段代码真的这么慢吗?还是 linker 花了很多时间去获取所有这些库,如果可以,我可以加快速度吗?
我好像记得cpp-netlib用灵气语法来URL解析例如
network/uri/accessors.hpp
network/uri/uri.ipp
In this case the slowdown seems to be the key_value_sequence
parser in accessors.hpp
这些模板非常繁重,需要花费大量时间进行编译,仅略微取决于所使用的编译器(根据我的经验,MSVC 最差)。
您可以阻止包含这些 header。至少只将它们包含在需要它的翻译单元 (cpp
s) 中;永远不要让它陷入您的 "common" header 依赖项中。这意味着编译器必须在每次迭代时重新编译这些东西(即使使用预编译的 headers 成本也可能很高)。
根据您的编译器版本,这些可能会有所帮助:
- 禁用调试信息 (-g0)
- 优化尺寸 (-Os)
- 定义BOOST_SPIRIT_USE_PHOENIX_V3(默认自 ~1.58)
- 将
FUSION_MAX_VECTOR_SIZE
之类的东西定义为更小的数字(默认值:10)
真的,如果您使用支持 c++14 的 clang,我有兴趣测试一个补丁以使用 Spirit X3 而不是 Qi。
至少替换这个 Qi 解析器:
#include <boost/spirit/include/qi.hpp>
// ...
namespace details {
template <typename Map>
struct key_value_sequence : spirit::qi::grammar<uri::const_iterator, Map()> {
typedef typename Map::key_type key_type;
typedef typename Map::mapped_type mapped_type;
typedef std::pair<key_type, mapped_type> pair_type;
key_value_sequence() : key_value_sequence::base_type(query) {
query = pair >> *((spirit::qi::lit(';') | '&') >> pair);
pair = key >> -('=' >> value);
key =
spirit::qi::char_("a-zA-Z_") >> *spirit::qi::char_("-+.~a-zA-Z_0-9/%");
value = +spirit::qi::char_("-+.~a-zA-Z_0-9/%");
}
spirit::qi::rule<uri::const_iterator, Map()> query;
spirit::qi::rule<uri::const_iterator, pair_type()> pair;
spirit::qi::rule<uri::const_iterator, key_type()> key;
spirit::qi::rule<uri::const_iterator, mapped_type()> value;
};
} // namespace details
template <class Map>
inline Map &query_map(const uri &uri_, Map &map) {
const uri::string_type range = uri_.query();
details::key_value_sequence<Map> parser;
spirit::qi::parse(boost::begin(range), boost::end(range), parser, map);
return map;
}
使用此 X3 变体:
#include <boost/spirit/home/x3.hpp>
// ...
namespace details {
namespace kvs_parser {
namespace x3 = boost::spirit::x3;
static auto const key = x3::char_("a-zA-Z_") >> *x3::char_("-+.~a-zA-Z_0-9/%");
static auto const value = +x3::char_("-+.~a-zA-Z_0-9/%");
template <typename Map, typename K = typename Map::key_type, typename V = typename Map::mapped_type, typename Pair = std::pair<K, V> >
static auto const pair = x3::rule<struct kvs_pair, Pair> {}
= key >> -('=' >> value);
template <typename Map>
static auto const query = pair<Map> >> *((x3::lit(';') | '&') >> pair<Map>);
}
} // namespace details
template <class Map>
inline Map &query_map(const uri &uri_, Map &map) {
const uri::string_type range = uri_.query();
spirit::x3::parse(boost::begin(range), boost::end(range), details::kvs_parser::query<Map>, map);
return map;
}
在我的系统上将编译时间从约 8 秒减少到约 5 秒
BIG FAT WARNING The X3 code is untested (I don't even know what uses it, I just "blindly" translated to X3 to the best of my knowledge)
我最近开始学习 cpp-netlib 并且正在测试一个 netlibs 示例程序
#include <boost/network/protocol/http/client.hpp>
#include <iostream>
int main()
{
using namespace boost::network;
http::client client;
http::client::request request("http://www.boost.org");
request << header("Connection", "close");
http::client::response response = client.get(request);
std::cout << body(response) << std::endl;
return 0;
}
经过几个小时的研究,我发现编译我的程序需要使用的正确命令是
clang++ -std=c++11 -I /usr/local/Cellar/openssl/1.0.2e/include test.cpp -L /usr/local/Cellar/openssl/1.0.2e/lib -lboost_system-mt -lboost_thread-mt -lcppnetlib-client-connections -lcppnetlib-uri -lcppnetlib-server-parsers -lssl -lcrypto
这是 link 我发布的一个较旧的问题,详细说明了我是如何找到编译该程序所需的一切的
我发现编译大约需要 15 秒,想知道是否有办法加快这个过程?编译这段代码真的这么慢吗?还是 linker 花了很多时间去获取所有这些库,如果可以,我可以加快速度吗?
我好像记得cpp-netlib用灵气语法来URL解析例如
network/uri/accessors.hpp
network/uri/uri.ipp
In this case the slowdown seems to be the
key_value_sequence
parser inaccessors.hpp
这些模板非常繁重,需要花费大量时间进行编译,仅略微取决于所使用的编译器(根据我的经验,MSVC 最差)。
您可以阻止包含这些 header。至少只将它们包含在需要它的翻译单元 (cpp
s) 中;永远不要让它陷入您的 "common" header 依赖项中。这意味着编译器必须在每次迭代时重新编译这些东西(即使使用预编译的 headers 成本也可能很高)。
根据您的编译器版本,这些可能会有所帮助:
- 禁用调试信息 (-g0)
- 优化尺寸 (-Os)
- 定义BOOST_SPIRIT_USE_PHOENIX_V3(默认自 ~1.58)
- 将
FUSION_MAX_VECTOR_SIZE
之类的东西定义为更小的数字(默认值:10)
真的,如果您使用支持 c++14 的 clang,我有兴趣测试一个补丁以使用 Spirit X3 而不是 Qi。
至少替换这个 Qi 解析器:
#include <boost/spirit/include/qi.hpp>
// ...
namespace details {
template <typename Map>
struct key_value_sequence : spirit::qi::grammar<uri::const_iterator, Map()> {
typedef typename Map::key_type key_type;
typedef typename Map::mapped_type mapped_type;
typedef std::pair<key_type, mapped_type> pair_type;
key_value_sequence() : key_value_sequence::base_type(query) {
query = pair >> *((spirit::qi::lit(';') | '&') >> pair);
pair = key >> -('=' >> value);
key =
spirit::qi::char_("a-zA-Z_") >> *spirit::qi::char_("-+.~a-zA-Z_0-9/%");
value = +spirit::qi::char_("-+.~a-zA-Z_0-9/%");
}
spirit::qi::rule<uri::const_iterator, Map()> query;
spirit::qi::rule<uri::const_iterator, pair_type()> pair;
spirit::qi::rule<uri::const_iterator, key_type()> key;
spirit::qi::rule<uri::const_iterator, mapped_type()> value;
};
} // namespace details
template <class Map>
inline Map &query_map(const uri &uri_, Map &map) {
const uri::string_type range = uri_.query();
details::key_value_sequence<Map> parser;
spirit::qi::parse(boost::begin(range), boost::end(range), parser, map);
return map;
}
使用此 X3 变体:
#include <boost/spirit/home/x3.hpp>
// ...
namespace details {
namespace kvs_parser {
namespace x3 = boost::spirit::x3;
static auto const key = x3::char_("a-zA-Z_") >> *x3::char_("-+.~a-zA-Z_0-9/%");
static auto const value = +x3::char_("-+.~a-zA-Z_0-9/%");
template <typename Map, typename K = typename Map::key_type, typename V = typename Map::mapped_type, typename Pair = std::pair<K, V> >
static auto const pair = x3::rule<struct kvs_pair, Pair> {}
= key >> -('=' >> value);
template <typename Map>
static auto const query = pair<Map> >> *((x3::lit(';') | '&') >> pair<Map>);
}
} // namespace details
template <class Map>
inline Map &query_map(const uri &uri_, Map &map) {
const uri::string_type range = uri_.query();
spirit::x3::parse(boost::begin(range), boost::end(range), details::kvs_parser::query<Map>, map);
return map;
}
在我的系统上将编译时间从约 8 秒减少到约 5 秒
BIG FAT WARNING The X3 code is untested (I don't even know what uses it, I just "blindly" translated to X3 to the best of my knowledge)