如何在 HDFS 上部署 & 运行 Samza 作业？
How to deploy & run Samza job on HDFS?
我想在远程系统上获得 Samza 作业 运行ning，Samza 作业存储在 HDFS 上。在煤机上 运行ning Samza 作业的示例 (https://samza.apache.org/startup/hello-samza/0.7.0/) 涉及构建 tar 文件，然后解压缩 tar 文件，然后 运行ning位于 tar 文件中的 shell 脚本。
这里的 HDFS 示例根本没有很好的记录 (https://samza.apache.org/learn/tutorials/0.7.0/deploy-samza-job-from-hdfs.html)。它说要将 tar 文件复制到 HDFS，然后按照非 HDFS 示例中的其他步骤进行操作。
这意味着现在驻留在 HDFS 上的 tar 文件需要在 HDFS 中取消tar红色，然后 shell 脚本 运行解压缩 tar 文件。但是您不能使用 hadoop fs shell...
取消 tar 一个 HDFS tar 文件
如果不取消 tar 响起 tar 文件，您将无法访问 运行-job.sh 来启动 Samza 作业。
请问有人设法让这个工作吗？
我们以这种方式部署 Samza 作业：我们在 /opt/hadoop 中有 hadoop 库，我们在 /opt/samza/bin 中有 Samza sh 脚本，我们在 /opt/samza/config 中有 Samza 配置文件。在这个配置文件中有这一行：
yarn.package.path=hdfs://hadoop1:8020/deploy/samza/samzajobs-dist.tgz
当我们想要部署新版本的 Samza 作业时，我们只需创建 tgz 存档，然后将其移动（无需解压缩）到 HDFS 到 /deploy/samza/，然后我们 运行 /opt/bin/run-job.sh --config-factory=org.apache.samza.config.factories.PropertiesConfigFactory --config-path=file:///opt/samza/config/$CONFIG_NAME.properties
唯一的缺点是我们忽略了存档中的配置文件。如果您更改存档中的配置，它不会生效。您必须更改 /opt/samza/config 中的配置文件。另一方面，我们可以在不部署新的 tgz 存档的情况下更改 Samza 作业的配置。 /opt/samza/bin 下的 shell 脚本在每次构建时都保持不变，因此您不需要因为 shell 脚本而解压存档包。
祝 Samzing 好运！ :-)
我想在远程系统上获得 Samza 作业 运行ning，Samza 作业存储在 HDFS 上。在煤机上 运行ning Samza 作业的示例 (https://samza.apache.org/startup/hello-samza/0.7.0/) 涉及构建 tar 文件，然后解压缩 tar 文件，然后 运行ning位于 tar 文件中的 shell 脚本。
这里的 HDFS 示例根本没有很好的记录 (https://samza.apache.org/learn/tutorials/0.7.0/deploy-samza-job-from-hdfs.html)。它说要将 tar 文件复制到 HDFS，然后按照非 HDFS 示例中的其他步骤进行操作。
这意味着现在驻留在 HDFS 上的 tar 文件需要在 HDFS 中取消tar红色，然后 shell 脚本 运行解压缩 tar 文件。但是您不能使用 hadoop fs shell...
取消 tar 一个 HDFS tar 文件如果不取消 tar 响起 tar 文件，您将无法访问 运行-job.sh 来启动 Samza 作业。
请问有人设法让这个工作吗？
我们以这种方式部署 Samza 作业：我们在 /opt/hadoop 中有 hadoop 库，我们在 /opt/samza/bin 中有 Samza sh 脚本，我们在 /opt/samza/config 中有 Samza 配置文件。在这个配置文件中有这一行：
yarn.package.path=hdfs://hadoop1:8020/deploy/samza/samzajobs-dist.tgz
当我们想要部署新版本的 Samza 作业时，我们只需创建 tgz 存档，然后将其移动（无需解压缩）到 HDFS 到 /deploy/samza/，然后我们 运行 /opt/bin/run-job.sh --config-factory=org.apache.samza.config.factories.PropertiesConfigFactory --config-path=file:///opt/samza/config/$CONFIG_NAME.properties
唯一的缺点是我们忽略了存档中的配置文件。如果您更改存档中的配置，它不会生效。您必须更改 /opt/samza/config 中的配置文件。另一方面，我们可以在不部署新的 tgz 存档的情况下更改 Samza 作业的配置。 /opt/samza/bin 下的 shell 脚本在每次构建时都保持不变，因此您不需要因为 shell 脚本而解压存档包。
祝 Samzing 好运！ :-)