如何在 Azure HDInsight 集群中创建 Pig Latin 作业
How to Create a Pig Latin Job in Azure HDInsight Cluster
我刚刚为 Azure 创建了一个免费帐户,并在 HDInsight 上创建了一个 hadoop 集群。但是,它无论如何都没有显示如何启动 Pig 客户端并创建 pig latin 作业和 运行 它?
不幸的是,您不能使用 Ambari UI 来 运行 猪拉丁作业。
注意:要使用 Pig 处理数据,需要打开一个连接到您的集群的 SSH 控制台,然后 运行 使用本地模式的 pig latin 或mapreduce 模式:
If you are using a Windows client computer:
在 Microsoft Azure 门户中,在 HDInsight 群集的 HDInsight 群集边栏选项卡上,单击安全 Shell,然后在安全 Shell 边栏选项卡的主机名列表中,记下集群的主机名(应为 your_cluster_name-ssh.azurehdinsight.net)。
打开 PuTTY,在“会话”页面的“主机名”框中输入主机名。然后在连接类型下,select SSH 并单击打开。如果显示无法验证主机证书的安全警告,请单击“是”继续。
出现提示时,输入您在配置集群时指定的 SSH 用户名和密码(不是集群登录用户名)。
If you are using a Mac OS X or Linux client computer:
在 Microsoft Azure 门户中,在 HDInsight 群集的 HDInsight 群集边栏选项卡上,单击安全 Shell,然后在安全 Shell 边栏选项卡的主机名列表中, select 集群的主机名。然后复制显示的 ssh 命令,它应该类似于以下命令 – 您将使用它连接到头节点。
ssh sshuser@your_cluster_name-ssh.azurehdinsight.net
打开一个新的终端会话,粘贴 ssh 命令,指定您的 SSH 用户名(不是集群登录用户名)。
如果在无法验证证书的情况下仍提示您连接,请输入是。
出现提示时,输入 SSH 用户名的密码。
连接到集群后,run pig latin 如图所示:
您可以执行 Pig Latin 语句:
- 使用 g运行t shell 或命令行
- 在 mapreduce 模式或本地模式下
- 交互式或批量
参考: Pig Manual
我刚刚为 Azure 创建了一个免费帐户,并在 HDInsight 上创建了一个 hadoop 集群。但是,它无论如何都没有显示如何启动 Pig 客户端并创建 pig latin 作业和 运行 它?
不幸的是,您不能使用 Ambari UI 来 运行 猪拉丁作业。
注意:要使用 Pig 处理数据,需要打开一个连接到您的集群的 SSH 控制台,然后 运行 使用本地模式的 pig latin 或mapreduce 模式:
If you are using a Windows client computer:
在 Microsoft Azure 门户中,在 HDInsight 群集的 HDInsight 群集边栏选项卡上,单击安全 Shell,然后在安全 Shell 边栏选项卡的主机名列表中,记下集群的主机名(应为 your_cluster_name-ssh.azurehdinsight.net)。
打开 PuTTY,在“会话”页面的“主机名”框中输入主机名。然后在连接类型下,select SSH 并单击打开。如果显示无法验证主机证书的安全警告,请单击“是”继续。
出现提示时,输入您在配置集群时指定的 SSH 用户名和密码(不是集群登录用户名)。
If you are using a Mac OS X or Linux client computer:
在 Microsoft Azure 门户中,在 HDInsight 群集的 HDInsight 群集边栏选项卡上,单击安全 Shell,然后在安全 Shell 边栏选项卡的主机名列表中, select 集群的主机名。然后复制显示的 ssh 命令,它应该类似于以下命令 – 您将使用它连接到头节点。 ssh sshuser@your_cluster_name-ssh.azurehdinsight.net
打开一个新的终端会话,粘贴 ssh 命令,指定您的 SSH 用户名(不是集群登录用户名)。
如果在无法验证证书的情况下仍提示您连接,请输入是。
出现提示时,输入 SSH 用户名的密码。
连接到集群后,run pig latin 如图所示:
您可以执行 Pig Latin 语句:
- 使用 g运行t shell 或命令行
- 在 mapreduce 模式或本地模式下
- 交互式或批量
参考: Pig Manual