想建立一个拥有 70 亿关键字的数据库 - 需要指导
Want to build a database with 7 Billion keywords - need guidance
好的,我想为有 4 列和 70 亿行的客户建立一个数据库。我什至不知道 mysql 是否可以处理这个问题。我需要有关如何进行此操作的指导(当然我会雇人来做。)
我想要什么:
前两列是关键字和计数。计数是数字,关键字是字符串。查询可以像:
Select关键字有字,没有,等于or/and有计数多于或少于等
所以基本上可以搜索数据库。我知道全文,但那只是文字。如何使两列都可搜索且快速。我需要在几毫秒内在查询中返回数千个关键字,例如 google auto-suggest?
我有:
一个强大的数据库 - 32 GB 内存,AMD opteron 3365 2.30 GHz 四核 (HT),2 TB SATA(我知道我需要 SDD,但万一它能工作就更好了)。
如果 10,000 个用户正在查询该数据库,这可以工作吗?
我在制表符分隔的文本文件中看到了数据。 Lucene 可以解决这个问题吗?我将不得不在 mysql 中导入 txt 然后索引它?其他效果更好的东西?
请告诉我。另外,如果你能告诉我是哪家公司做这件事,或者这里的人能帮我设置一下吗?这是一家有后盾的初创公司,所以不用担心涉及的成本。
MySQL 不行。您将花费大量时间(可能还有金钱)对其进行分区以便进行搜索。
Lucene 就可以了。抓住你自己的 ElasticSearch,设置分片,你就会得到结果。您将不得不学习一种不同的查询语言(与 SQL 不同),但开箱即用的倒排索引的成本很小。
好的,我想为有 4 列和 70 亿行的客户建立一个数据库。我什至不知道 mysql 是否可以处理这个问题。我需要有关如何进行此操作的指导(当然我会雇人来做。)
我想要什么:
前两列是关键字和计数。计数是数字,关键字是字符串。查询可以像:
Select关键字有字,没有,等于or/and有计数多于或少于等
所以基本上可以搜索数据库。我知道全文,但那只是文字。如何使两列都可搜索且快速。我需要在几毫秒内在查询中返回数千个关键字,例如 google auto-suggest?
我有:
一个强大的数据库 - 32 GB 内存,AMD opteron 3365 2.30 GHz 四核 (HT),2 TB SATA(我知道我需要 SDD,但万一它能工作就更好了)。
如果 10,000 个用户正在查询该数据库,这可以工作吗?
我在制表符分隔的文本文件中看到了数据。 Lucene 可以解决这个问题吗?我将不得不在 mysql 中导入 txt 然后索引它?其他效果更好的东西?
请告诉我。另外,如果你能告诉我是哪家公司做这件事,或者这里的人能帮我设置一下吗?这是一家有后盾的初创公司,所以不用担心涉及的成本。
MySQL 不行。您将花费大量时间(可能还有金钱)对其进行分区以便进行搜索。
Lucene 就可以了。抓住你自己的 ElasticSearch,设置分片,你就会得到结果。您将不得不学习一种不同的查询语言(与 SQL 不同),但开箱即用的倒排索引的成本很小。