用于分析和存储应用程序日志的 BigQuery 与 Elasticsearch
BigQuery vs Elasticsearch for analysing and storing application logs
我正在研究使用 BigQuery 来深入了解应用程序日志文件的优点。日志由 Java 和 C# 应用程序生成，其中大部分在基于云的虚拟机上。我很想知道其他人是否已经这样做了，以及 BigQuery 与 ElasticSearch/Logstash/Kibana 的相对优点。
BigQuery 的优势似乎是它可以处理大量数据，而 ELK 解决方案似乎更适合日志文件的非结构化性质，尤其是当它们来自不同系统时。
我还想在仪表板上显示信息。 Kibana 似乎非常适合这一点。使用 Google 解决方案（使用 google 工作表等）创建仪表板有多容易？
想法、用例？
2017年更新：GCP正式支持Elastic
Elasticsearch 和 BigQuery 配合得很好。 BigQuery 将尽可能多地获取您拥有的数据，并在几秒钟内以您想要的任何方式查询它。同时，经过良好调整的 Elasticsearch 安装将在不到一秒钟内为您提供答案，但仅限于对有限数据量的某些查询。
请参阅 Ory 在 Rounds 的 post，他们详细说明了如何使用这两种方法：
https://medium.com/@oryband/collecting-user-data-and-usage-ffa84c4dba34
两个最热门的标题总结了他们同时做这两件事的原因：
- 使用 Elasticsearch 的实时数据
- 使用 Google BigQuery
的大数据
我正在研究使用 BigQuery 来深入了解应用程序日志文件的优点。日志由 Java 和 C# 应用程序生成，其中大部分在基于云的虚拟机上。我很想知道其他人是否已经这样做了，以及 BigQuery 与 ElasticSearch/Logstash/Kibana 的相对优点。
BigQuery 的优势似乎是它可以处理大量数据，而 ELK 解决方案似乎更适合日志文件的非结构化性质，尤其是当它们来自不同系统时。
我还想在仪表板上显示信息。 Kibana 似乎非常适合这一点。使用 Google 解决方案（使用 google 工作表等）创建仪表板有多容易？
想法、用例？
2017年更新：GCP正式支持Elastic
Elasticsearch 和 BigQuery 配合得很好。 BigQuery 将尽可能多地获取您拥有的数据，并在几秒钟内以您想要的任何方式查询它。同时，经过良好调整的 Elasticsearch 安装将在不到一秒钟内为您提供答案，但仅限于对有限数据量的某些查询。
请参阅 Ory 在 Rounds 的 post，他们详细说明了如何使用这两种方法：
https://medium.com/@oryband/collecting-user-data-and-usage-ffa84c4dba34
两个最热门的标题总结了他们同时做这两件事的原因：
- 使用 Elasticsearch 的实时数据
- 使用 Google BigQuery 的大数据