Pig on local 模式与 pig-withouthadoop.jar 的区别
Diffence between Pig on local mode vs pig-withouthadoop.jar
我想知道如果我在本地模式(内部调用 Map reduce)中使用 pig 与使用 PIG-withouthadoop.jar 文件相比,性能增益或损失是什么?
PIG-withouthadoop.jar真的不用hadoop吗???
如果我只想使用没有集群的Pig,比如设计一个数据流,那我应该用什么? Pig 在本地模式或 pig-withouthadoop.jar 文件??
目前我已经使用 pig 本地模式编写了我的脚本,并且在尝试在服务器中部署并在本地模式下设置 PIG 时,我想我还需要在设置之前在环境变量中设置 HADOOP_HOME PIG_HOME 变量
请指教..
提前致谢。 :)
Local 模式将在一个 JVM 中 运行 Pig、HDFS 和 MR1(或 YARN+MR2)。
比较 local 与 cluster 模式下的性能差异并不重要。本地模式通常用于测试或 运行ning 可以在 1 个节点上工作的小型 MR 作业。
关于 pig-withouthadoop.jar,我可以看出如何将 jar 的名称解释为 Pig 不会使用 Hadoop。但事实并非如此。
Pig 打包了两个与执行相关的 jar:
- pig.jar,这是一个 "uber jar",还包括所有 hadoop 和 mapreduce jar。您可以从字面上将那个 jar 放在一个尚未安装 hadoop 的盒子上,然后 运行 pig(在设置正确的配置和环境之后。)
- 但是大多数集群已经安装并配置了hadoop。在这种情况下,您使用 pig-withouthadoop.jar。由于显而易见的原因,这个罐子只有超级罐子的一半大小。
无论哪种方式,您都需要确保 hadoop 配置 hdfs-site.xml、mapred-site.xml 等位于标准位置(/etc/hadoop/conf/ 通常)让 Pig 工作。
让我按顺序回答你的问题:
1) 当我们谈论性能时,如果我们假设文件大小和 Pig 脚本是恒定的,而 运行 在本地模式和 Hadoop 模式下。然后,在本地模式下处理肯定会更快,因为所有任务都在单个 JVM 中执行,但在 Hadoop 模式下,输入文件将被传送到数据节点,然后 Pig 脚本或 UDF 也将得到带到集群中。这将需要更多时间,尽管在这两种情况下,pig 脚本和 UDF 将在内部转换为 map 和 reduce 任务,而且构建的 map 和 reduce class 的数量在这两种情况下始终相同。我们可以使用 EXPLAIN 命令来检查这一点。
2) 不。Pig 内部包含一捆 Hadoop 罐子。因此,如果您还没有使用 start-all.sh 命令启动 Hadoop,pig 将工作,因为它使用内部 Hadoop 捆绑的 jar。现在,有趣的部分是,如果你已经安装了 hadoop,然后在没有启动 Hadoop 的情况下使用 pig,那么有时它会因为 Hadoop 版本不匹配而无法工作。因此,为了安全起见,请显式启动 Hadoop。所以,Pig 一直使用 Hadoop。 :)
3) 如果文件较小,请始终使用 Hadoop 本地模式。如前所述,Pig 默认带有 Hadoop jar。
4) 是的,如果您明确使用 Hadoop,则需要设置此项。
我想知道如果我在本地模式(内部调用 Map reduce)中使用 pig 与使用 PIG-withouthadoop.jar 文件相比,性能增益或损失是什么?
PIG-withouthadoop.jar真的不用hadoop吗???
如果我只想使用没有集群的Pig,比如设计一个数据流,那我应该用什么? Pig 在本地模式或 pig-withouthadoop.jar 文件??
目前我已经使用 pig 本地模式编写了我的脚本,并且在尝试在服务器中部署并在本地模式下设置 PIG 时,我想我还需要在设置之前在环境变量中设置 HADOOP_HOME PIG_HOME 变量
请指教..
提前致谢。 :)
Local 模式将在一个 JVM 中 运行 Pig、HDFS 和 MR1(或 YARN+MR2)。
比较 local 与 cluster 模式下的性能差异并不重要。本地模式通常用于测试或 运行ning 可以在 1 个节点上工作的小型 MR 作业。
关于 pig-withouthadoop.jar,我可以看出如何将 jar 的名称解释为 Pig 不会使用 Hadoop。但事实并非如此。
Pig 打包了两个与执行相关的 jar:
- pig.jar,这是一个 "uber jar",还包括所有 hadoop 和 mapreduce jar。您可以从字面上将那个 jar 放在一个尚未安装 hadoop 的盒子上,然后 运行 pig(在设置正确的配置和环境之后。)
- 但是大多数集群已经安装并配置了hadoop。在这种情况下,您使用 pig-withouthadoop.jar。由于显而易见的原因,这个罐子只有超级罐子的一半大小。
无论哪种方式,您都需要确保 hadoop 配置 hdfs-site.xml、mapred-site.xml 等位于标准位置(/etc/hadoop/conf/ 通常)让 Pig 工作。
让我按顺序回答你的问题:
1) 当我们谈论性能时,如果我们假设文件大小和 Pig 脚本是恒定的,而 运行 在本地模式和 Hadoop 模式下。然后,在本地模式下处理肯定会更快,因为所有任务都在单个 JVM 中执行,但在 Hadoop 模式下,输入文件将被传送到数据节点,然后 Pig 脚本或 UDF 也将得到带到集群中。这将需要更多时间,尽管在这两种情况下,pig 脚本和 UDF 将在内部转换为 map 和 reduce 任务,而且构建的 map 和 reduce class 的数量在这两种情况下始终相同。我们可以使用 EXPLAIN 命令来检查这一点。
2) 不。Pig 内部包含一捆 Hadoop 罐子。因此,如果您还没有使用 start-all.sh 命令启动 Hadoop,pig 将工作,因为它使用内部 Hadoop 捆绑的 jar。现在,有趣的部分是,如果你已经安装了 hadoop,然后在没有启动 Hadoop 的情况下使用 pig,那么有时它会因为 Hadoop 版本不匹配而无法工作。因此,为了安全起见,请显式启动 Hadoop。所以,Pig 一直使用 Hadoop。 :)
3) 如果文件较小,请始终使用 Hadoop 本地模式。如前所述,Pig 默认带有 Hadoop jar。
4) 是的,如果您明确使用 Hadoop,则需要设置此项。