大数据云端实现

Question

谁能告诉我 'Big Data implementation over Cloud'

是什么意思

我一直在使用 Amazon S3 来存储数据并使用 hive 进行查询，我读到的是其中一种云实现。我想知道这到底是什么意思以及所有可能的实现方式。

谢谢， 斯里

Answer 1

以下是云提供商可以为大数据分析解决方案提供的服务级别选择：

• 数据平台基础设施服务，例如Hadoop 即服务，提供预安装和管理的基础设施。使用此级别的服务，您负责加载、治理和管理分析解决方案的数据和分析。
• 数据管理服务，例如 数据湖服务，它提供数据管理、目录服务、分析开发、安全和基于一个或多个数据平台的信息治理服务。使用此级别的服务，您负责定义有关如何管理数据以及将数据源连接到云解决方案的策略。数据所有者可以直接控制其数据的加载、保护和使用方式。数据的消费者能够使用目录来定位他们想要的数据，请求访问，并通过自助服务界面使用数据。
• Insight and Data Service，例如 Customer Analytics Service，让您负责将数据源连接到云解决方案.然后，云解决方案提供 API 来访问您的数据和其他数据源的组合，这些数据源都是解决方案专有的和 public 开放数据，以及从这些数据中生成的分析洞察力。

有关这方面的更多信息，请阅读 IBM 在此处发布的详细文章：http://www.ibm.com/developerworks/cloud/library/cl-ibm-leads-building-big-data-analytics-solutions-cloud-trs/index.html

另请查看 Qubole 提供的服务，它针对存储在 AWS、Google 或 Azure 云 - https://www.qubole.com/features 上的数据极大地简化、加速和扩展了大数据分析工作负载。 =12=]

Answer 2

存储和处理大量数据 需要可扩展性和可用性。 云计算通过硬件提供所有这些 虚拟化。出于同样的原因，大数据和云计算是合乎逻辑的 两个兼容的概念，如云使大数据能够 可用、可扩展和容错。 不仅如此，实施还不止于此——许多公司现在都在提供大数据即服务 (BDaaS)，例如 Stratoscale、Cloudera，当然还有 Azure 等。