ElasticSearch 没有拉全 SQL Table
ElasticSearch did not pull whole SQL Table
我正在测试使用现有的 SQL table(来自 SQL 服务器)设置 ElasticSearch instruction。一切正常,我已经在一些小型 table 上进行了测试,一切都很顺利。
现在,当我在稍大的 table 上进行测试时,它有 2,825,077 行。当我使用 Sense Chrome 插件使用此语句将其加载到 ElasticSearch 中并单击 运行:
PUT _river/scorecards_river/_meta
{
"type":"jdbc",
"jdbc": {
"driver":"com.microsoft.sqlserver.jdbc.SQLServerDriver",
"url":"jdbc:sqlserver://SQLSERVERNAME;databaseName=Test",
"user":"username",
"password":"password",
"sql":"select ID as _id, IP as ip from testtable",
"strategy":"simple",
"index": "test",
"type":"product",
"bulk_size":100,
"max_retries":5,
"max_retries_wait":"30s",
"max_bulk_requests":5,
"bulk_flush_interval":"5s"
}
}
在控制台中,它显示了所有 BULK 插入信息,并且似乎完全加载了所有数据。
但是当我在 Sense 中快速计数时:
GET jdbc/jdbc/_count
它给了我:
{
"count": 1488226,
"_shards": {
"total": 5,
"successful": 5,
"failed": 0
}
}
我找不到任何相关信息来解释所以,有人知道为什么会这样吗?
一些背景:我在Windows 7,ES版本是elasticsearch 1.4.2,alsp使用sqljdbc4,elasticsearch-river-jdbc-2.2.3
谢谢,
事实证明,elasticsearch-river-jdbc 版本是问题所在,在删除旧驱动程序并从 here 安装新驱动程序后,最新版本为 1.4.0.8。现在加载数据成功了。
我正在测试使用现有的 SQL table(来自 SQL 服务器)设置 ElasticSearch instruction。一切正常,我已经在一些小型 table 上进行了测试,一切都很顺利。
现在,当我在稍大的 table 上进行测试时,它有 2,825,077 行。当我使用 Sense Chrome 插件使用此语句将其加载到 ElasticSearch 中并单击 运行:
PUT _river/scorecards_river/_meta
{
"type":"jdbc",
"jdbc": {
"driver":"com.microsoft.sqlserver.jdbc.SQLServerDriver",
"url":"jdbc:sqlserver://SQLSERVERNAME;databaseName=Test",
"user":"username",
"password":"password",
"sql":"select ID as _id, IP as ip from testtable",
"strategy":"simple",
"index": "test",
"type":"product",
"bulk_size":100,
"max_retries":5,
"max_retries_wait":"30s",
"max_bulk_requests":5,
"bulk_flush_interval":"5s"
}
}
在控制台中,它显示了所有 BULK 插入信息,并且似乎完全加载了所有数据。
但是当我在 Sense 中快速计数时:
GET jdbc/jdbc/_count
它给了我:
{
"count": 1488226,
"_shards": {
"total": 5,
"successful": 5,
"failed": 0
}
}
我找不到任何相关信息来解释所以,有人知道为什么会这样吗?
一些背景:我在Windows 7,ES版本是elasticsearch 1.4.2,alsp使用sqljdbc4,elasticsearch-river-jdbc-2.2.3
谢谢,
事实证明,elasticsearch-river-jdbc 版本是问题所在,在删除旧驱动程序并从 here 安装新驱动程序后,最新版本为 1.4.0.8。现在加载数据成功了。