查询 mySQL 数据库的日志文件进行分析

Question

我们有 mySQL 数据库的日志文件，我们想使用该日志文件进行分析（数据挖掘、机器学习等） 我对此很陌生。

你能告诉我怎么做吗？

Answer 1

根据您的要求，有许多工具可能对您有用。

但为什么要使用 MySQL 日志而不是直接使用数据库，或者在用户交互时将您正在搜索的详细信息转到数据库中的新 'information mining' table与界面。哪个可能更强大

如果您想确定插入/查询的速率。 您实际上可以设置 MySQL 以将这些类型的事件记录到不同的文件中（因此一些工作已经完成，而不必挖掘所有事件的完整日志文件）。 否则，您将需要使用 Grep 等工具。

最重要的是，您有一个名为 Lucerne（来自 Apache）的系统，它将挖掘数据并搜索关键词。他们有各种不同的挂钩用于进入 Java、C 和其他。它与 google 拖网网页的方式非常相似。

否则，如果您打算在数据库中挖掘数据 'within'，那么日志显然不是您的最佳选择。

日志还将包含大量有关用户的信息。 IP 地址可能更棘手，但您可以交叉引用用户名 运行 查询和一般服务器日志以确定连接的 IP。