HDInsight 和 Hive 查询

Question

我们正在为 HDInsight 做 POC。我对这项技术很陌生。我们正在做的是，尝试将一些数据发送到 Azure 并编写一些 Hive 查询。我们能够实现第一部分：我们可以使用 AzCopy 将一些测试数据推送到 Azure blob。（我知道有 Azure Tables 和 Azure queues）。但对于 POC，Azure blob 就好了。

我们可以使用 Visual Studio 与这个 blob 对话。但是，我们还想检查 HDinsight 及其 MapReduce 功能。

在此背景下，有几个问题：

 1. Do I need to copy data from Azure Blob to Anywhere else for writing
    Hive queries in Ambari? Or Can Ambari directly talk to data stored
    in Azure blob? 
 2. Is this the right way to process data? (Keep data in
        Azure blob, and use HDInsight/Ambari to process the data)
 3. If point 2 is correct, that means HDInsight is used only for
    parallel processing with MapReducing feature. Is this correct?

非常感谢您的任何见解。

Answer 1

是的，HDInsight 可以读取存储在 BLOB 存储中的数据。示例：

https://docs.microsoft.com/en-us/azure/hdinsight/hadoop/apache-hadoop-linux-tutorial-get-started https://blogs.msdn.microsoft.com/azuredatalake/2017/04/06/azure-hdinsight-3-6-five-things-that-will-make-data-developer-happy/

是的，根据您的需要，您可以使用 Spark、MR、Pig 或 Hive 来处理数据好的起点就在这里 https://www.edx.org/course/processing-big-data-with-hadoop-in-azure-hdinsight

3：是的，使用分布式框架之一处理数据，例如 Spark、Map Reduce、Hive 或 Pig

HDInsight 和 Hive 查询

HDInsight and Hive queries

azure

hive

azure-hdinsight

ambari