为什么本地服务器上的 Sparql 端点不返回给定类型的完整实体集？

Question

简介

我已将 freebase 上传到 Virtuoso open-source. The databaset is located on the following server: http://SERVER_SPARQL:8890/sparql。我想提取所有类型为 common.topic.

的 entities 的描述

C++ class

为了访问数据库，我使用了 curlpp 和 c++。我很确定这不是 class 的问题。反正我会post。

#include "SparqlQuery.h"

#include <curlpp/cURLpp.hpp>
#include <curlpp/Easy.hpp>
#include <curlpp/Options.hpp>
#include <curlpp/Exception.hpp>
#include <sstream>
#include <fstream>

using namespace std;

SparqlQuery::SparqlQuery(const string & query, const string & url):_query(query),_url(url){}

size_t  WriteCallback(void *contents, size_t size, size_t nmemb, void *userp)
{
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

string SparqlQuery::retrieveInformations()
{
    CURL *curl;
    CURLcode res;
    curl = curl_easy_init();
    cout << _url << endl;
    string readBuffer = "";
    if(curl)
    {
        //convert string query to URL format
        char * parameters = curl_easy_escape(curl, _query.c_str(), (int)_query.size());

        //Format query according to the sparql endpoint site
        string query = "query=";
        string tothis(parameters);
        string buffer = query + tothis;

        curl_free(parameters);

        //Launch query and retrieve informations in form of an xml structure
        curl_easy_setopt(curl, CURLOPT_URL, _url.c_str());
        curl_easy_setopt(curl, CURLOPT_POSTFIELDS, buffer.c_str());
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);
        res = curl_easy_perform(curl);
        curl_easy_cleanup(curl);
    }
    return readBuffer;
}

实体数量

当我使用以下查询时，它 returns 43453748 个类型为 common.topic[=59= 的实体].哪个好

void loadData() { cout <<"loading data" << endl; string serverURL = "http://SERVER_SPARQL:8890/sparql"; string query = "select count(*) where {?head <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://rdf.basekb.com/ns/common.topic>.}"; SparqlQuery sparql(query, severURL); string result = sparql.retrieveInformations(); cout << result << endl; }

问题

当我使用以下查询时，它不会输出超过 10,000 个实体。即使我尝试从浏览器查询，也不会 return 访问完整的实体集。您知道为什么它没有 return 完整结果吗？好像有一个结果的限制。

void Freebase::loadData() { cout <<"loading data" << endl; string serverURL = "http://SERVER_SPARQL:8890/sparql"; string query = "select ?head, ?description where { ?head <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://rdf.basekb.com/ns/common.topic>.?head <http://rdf.basekb.com/ns/common.topic.description> ?description.}"; SparqlQuery sparql(query, serverURL); string result = sparql.retrieveInformations(); cout << result << endl; }

修改

我试图通过添加 should-sponge 选项来修改 class，但现在的问题如下：

Virtuoso 22023 Error SR078: The result set is too long, must limit result for at most 2097151 rows (DAMN IT!!!!!!!!!!!!!!!)

using namespace std; SparqlQuery::SparqlQuery(const string & query, const string & url):_query(query),_url(url){} size_t WriteCallback(void *contents, size_t size, size_t nmemb, void *userp) { ((std::string*)userp)->append((char*)contents, size * nmemb); return size * nmemb; } string SparqlQuery::retrieveInformations() { CURL *curl; CURLcode res; curl = curl_easy_init(); cout << _url << endl; string readBuffer = ""; if(curl) { //convert string query to URL format char * parameters = curl_easy_escape(curl, _query.c_str(), (int)_query.size()); string val = "grab-all-seealso"; char * sponge_parameters = curl_easy_escape(curl, val.c_str(), (int)val.size()); //Format query according to the sparql endpoint site string should_sponge= "should-sponge="; string last(sponge_parameters); string buffer1 = should_sponge + last; string query = "query="; string tothis(parameters); string buffer = query + tothis +"&"+ buffer1; cout << buffer << endl; curl_free(parameters); curl_free(sponge_parameters); //Launch query and retrieve informations in form of an xml structure curl_easy_setopt(curl, CURLOPT_URL, _url.c_str()); curl_easy_setopt(curl, CURLOPT_POSTFIELDS, buffer.c_str()); curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback); curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer); res = curl_easy_perform(curl); curl_easy_cleanup(curl); } return readBuffer; }

更新

正如建议的那样，我实际上使用了 LIMIT 和 OFFSET。根据 this post 没有必要使用 ORDER BY。这实际上更适合我。它快得多，我没有收到时间限制异常。

for(int offset = 1000; ;offset += 1000 ) { string query = "PREFIX basekb:<http://rdf.basekb.com/ns/> PREFIX rdf:<http://www.w3.org/1999/02/22-rdf-syntax-ns#> PREFIX rdfs:<http://www.w3.org/2000/01/rdf-schema#> select distinct ?head ?label where { ?head rdf:type basekb:common.topic. ?head rdfs:label ?label}LIMIT 1000 OFFSET " + std::to_string(offset) ; SparqlQuery sparql(query, _serverURL); string result = sparql.retrieveInformations(); cout << result << endl; }

我还有一个问题。我怎么知道我是否超过了最低限度？希望我不会得到重复的结果。

Answer 1

您正在使用 :

限制您的 sparql 查询

LIMIT 10

Answer 2

对于第一个近似值，所有具有 common.topic.description 属性的实体都是 common.topic 类型，因此对于许多应用程序来说，更简单的方法是只使用 grep 在源 RDF 文件上查找具有 common.topic.description 个三元组的所有行。

这将在几分钟内给您答案，而不是几小时。

如果您想坚持使用 SPARQL，请尝试在您的查询中添加 LIMIT 和 OFFSET 子句并迭代以获取所有结果（如 Joshua Taylor 所述，但隐藏在评论中） .

Answer 3

当通过 HTTP 使用 SPARQL 时，Virtuoso 似乎对您的查询和结果集的构建方式施加了很多限制。我经常听到但不能真正理解的是最大结果集大小（尽管 virtuoso.ini 设置）似乎是 1M 行。

在 Virtuoso 端点上运行 SPARQL 查询有几种 "open" 方法，但不属于这些限制。

如果您不需要一遍又一遍地以编程方式执行此操作并且如果您控制服务器，我可能首先尝试的是：尝试运行 isql/ 中的查询isql-vt 命令行界面。您可以像这样从那里运行 sparql 查询：

sparql select * {?s ?p ?o} limit 10;

似乎还有一个 CSV 变量，您可以设置该变量以获得 "CSV" 之类的输出，但请注意 encoding is weird.

其他选项是 ODBC/JDBC 连接器，例如 DWSLab 正在使用的连接器。

为什么本地服务器上的 Sparql 端点不返回给定类型的完整实体集？

why is Sparql endpoint on local sever not returning the full set of entities for a given type?

c++

sparql

freebase

简介

C++ class

实体数量

问题

修改

更新