搜索引擎的数据库设计？

Database Design for Search Engine?

我已经创建了一个抓取网站的应用程序。 这里 - http://crawler.javaignite.com/

我得到了所有亲戚 URL 并且有它的元关键字和描述包括标题。

但现在我想将这些数据存储在一些表中，而且我不知道搜索引擎如何存储数据和搜索，所以请帮助我为此创建基本架构。

我已经尝试创建，但需要对此进行更多改进。基本上我只使用三个 tables

table : website_mst

website_id
website_url [root]
website_visitperiod  // no of days to revisit

table: crawled_history

包含爬取次数的多项数据

crawled_id PK 
website_id FK [ref. website_mst]
crawled_url
crawled_datetime

table: crawled_page
仅包含元数据和描述

crawled_id  FK [ref. crawled_history]
meta_title
meta_keyword
meta_description
total_viewed
updated_on