为什么我的简单 cpp-netlib 程序需要这么长时间才能编译?

Why does my simple cpp-netlib program take so long to compile?

我最近开始学习 cpp-netlib 并且正在测试一个 netlibs 示例程序

#include <boost/network/protocol/http/client.hpp>
#include <iostream>
int main()
{
    using namespace boost::network;
    http::client client;
    http::client::request request("http://www.boost.org");
    request << header("Connection", "close");
    http::client::response response = client.get(request);
    std::cout << body(response) << std::endl;
    return 0;
}

经过几个小时的研究,我发现编译我的程序需要使用的正确命令是

clang++ -std=c++11 -I /usr/local/Cellar/openssl/1.0.2e/include test.cpp -L /usr/local/Cellar/openssl/1.0.2e/lib -lboost_system-mt -lboost_thread-mt -lcppnetlib-client-connections -lcppnetlib-uri -lcppnetlib-server-parsers -lssl -lcrypto

这是 link 我发布的一个较旧的问题,详细说明了我是如何找到编译该程序所需的一切的

我发现编译大约需要 15 秒,想知道是否有办法加快这个过程?编译这段代码真的这么慢吗?还是 linker 花了很多时间去获取所有这些库,如果可以,我可以加快速度吗?

我好像记得cpp-netlib用灵气语法来URL解析例如

network/uri/accessors.hpp
network/uri/uri.ipp

In this case the slowdown seems to be the key_value_sequence parser in accessors.hpp

这些模板非常繁重,需要花费大量时间进行编译,仅略微取决于所使用的编译器(根据我的经验,MSVC 最差)。

您可以阻止包含这些 header。至少只将它们包含在需要它的翻译单元 (cpps) 中;永远不要让它陷入您的 "common" header 依赖项中。这意味着编译器必须在每次迭代时重新编译这些东西(即使使用预编译的 headers 成本也可能很高)。


根据您的编译器版本,这些可能会有所帮助:

  • 禁用调试信息 (-g0)
  • 优化尺寸 (-Os)
  • 定义BOOST_SPIRIT_USE_PHOENIX_V3(默认自 ~1.58)
  • FUSION_MAX_VECTOR_SIZE 之类的东西定义为更小的数字(默认值:10)

真的,如果您使用支持 c++14 的 clang,我有兴趣测试一个补丁以使用 Spirit X3 而不是 Qi。

至少替换这个 Qi 解析器:

#include <boost/spirit/include/qi.hpp>

// ...
namespace details {
template <typename Map>
struct key_value_sequence : spirit::qi::grammar<uri::const_iterator, Map()> {
  typedef typename Map::key_type key_type;
  typedef typename Map::mapped_type mapped_type;
  typedef std::pair<key_type, mapped_type> pair_type;

  key_value_sequence() : key_value_sequence::base_type(query) {
    query = pair >> *((spirit::qi::lit(';') | '&') >> pair);
    pair = key >> -('=' >> value);
    key =
        spirit::qi::char_("a-zA-Z_") >> *spirit::qi::char_("-+.~a-zA-Z_0-9/%");
    value = +spirit::qi::char_("-+.~a-zA-Z_0-9/%");
  }

  spirit::qi::rule<uri::const_iterator, Map()> query;
  spirit::qi::rule<uri::const_iterator, pair_type()> pair;
  spirit::qi::rule<uri::const_iterator, key_type()> key;
  spirit::qi::rule<uri::const_iterator, mapped_type()> value;
};
}  // namespace details

template <class Map>
inline Map &query_map(const uri &uri_, Map &map) {
  const uri::string_type range = uri_.query();
  details::key_value_sequence<Map> parser;
  spirit::qi::parse(boost::begin(range), boost::end(range), parser, map);
  return map;
}

使用此 X3 变体:

#include <boost/spirit/home/x3.hpp>

// ...
namespace details {
    namespace kvs_parser {
        namespace x3 = boost::spirit::x3;

        static auto const key    = x3::char_("a-zA-Z_") >> *x3::char_("-+.~a-zA-Z_0-9/%");
        static auto const value  = +x3::char_("-+.~a-zA-Z_0-9/%");

        template <typename Map, typename K = typename Map::key_type, typename V = typename Map::mapped_type, typename Pair = std::pair<K, V> >
        static auto const pair   = x3::rule<struct kvs_pair, Pair> {} 
                                = key >> -('=' >> value);

        template <typename Map>
        static auto const query  = pair<Map> >> *((x3::lit(';') | '&') >> pair<Map>);
    }
}  // namespace details

template <class Map>
inline Map &query_map(const uri &uri_, Map &map) {
    const uri::string_type range = uri_.query();
    spirit::x3::parse(boost::begin(range), boost::end(range), details::kvs_parser::query<Map>, map);
    return map;
}

在我的系统上将编译时间从约 8 秒减少到约 5 秒

BIG FAT WARNING The X3 code is untested (I don't even know what uses it, I just "blindly" translated to X3 to the best of my knowledge)