通过 spark-submit 提交时 Apache Beam 作业挂起
Apache Beam job hangs up when submitted via spark-submit
我只是想在本地 spark 设置中执行 Apache Beam 示例代码。我生成了源代码并构建了 this page 中提到的包。并使用 spark-submit 提交 jar，
$ ~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master local target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts
代码已提交并开始执行。但是卡在了第 Evaluating ParMultiDo(ExtractWords) 步。以下是提交作业后的日志。
找不到任何错误消息。有人可以帮忙找出问题所在吗？
编辑：我也尝试使用下面的命令，
~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master spark://Quartics-MacBook-Pro.local:7077 target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts
作业现在停滞在 INFO BlockManagerMasterEndpoint: Registering block manager 192.168.0.2:59049 with 366.3 MB RAM, BlockManagerId(0, 192.168.0.2, 59049, None)。附上 Spark History & Dashboard 的屏幕截图 below.The dashboard 显示作业是 运行，但根本没有任何进展。
这只是一个版本问题。我能够 运行 在 Spark 1.6.3 中完成这项工作。感谢所有在没有解释的情况下投票反对这个问题的人。
我只是想在本地 spark 设置中执行 Apache Beam 示例代码。我生成了源代码并构建了 this page 中提到的包。并使用 spark-submit 提交 jar，
$ ~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master local target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts
代码已提交并开始执行。但是卡在了第 Evaluating ParMultiDo(ExtractWords) 步。以下是提交作业后的日志。
找不到任何错误消息。有人可以帮忙找出问题所在吗？
编辑：我也尝试使用下面的命令，
~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master spark://Quartics-MacBook-Pro.local:7077 target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts
作业现在停滞在 INFO BlockManagerMasterEndpoint: Registering block manager 192.168.0.2:59049 with 366.3 MB RAM, BlockManagerId(0, 192.168.0.2, 59049, None)。附上 Spark History & Dashboard 的屏幕截图 below.The dashboard 显示作业是 运行，但根本没有任何进展。
这只是一个版本问题。我能够 运行 在 Spark 1.6.3 中完成这项工作。感谢所有在没有解释的情况下投票反对这个问题的人。