使用 Apache YARN 在 Spring Cloud Dataflow 上部署失败
Unsuccessful deployment on Spring Cloud Dataflow with Apache YARN
我已经安装了带有 Kafka-Zookeeper 和 Spring Cloud Dataflow 1.0.3 的单节点 Apache YARN。
一切正常,但当我做了一些部署示例时,例如:
stream create --name "ticktock" --definition "time | hdfs --rollover=100" --deploy
http --port=8000 |日志 --name=logtest --level=INFO
流的状态永远不会停留在 "deployed"。它在 "undeployed"->"parcial"->"deployed" 上不断变化。
但是,YARN 应用程序部署成功,但是就像 Spring Cloud Dataflow 服务器实例与 Apache Hadoop 之间的通信一样,它经常失败。
这可能是什么问题?
提前致谢!
好吧,这里没有太多信息可以继续,但您可能需要检查并确保您在 HDFS 中创建了必要的基本目录,并且您的 Yarn 用户对它有 read/write 权限.
spring.cloud.deployer.yarn.app.baseDir=/数据流
感谢大家的回答!一直忙于其他高优先级项目,但我能够使用 Ambari 构建所有项目(包括 Sabby Adannan 提到的插件)。现在一切正常!
我已经安装了带有 Kafka-Zookeeper 和 Spring Cloud Dataflow 1.0.3 的单节点 Apache YARN。
一切正常,但当我做了一些部署示例时,例如:
stream create --name "ticktock" --definition "time | hdfs --rollover=100" --deploy
http --port=8000 |日志 --name=logtest --level=INFO
流的状态永远不会停留在 "deployed"。它在 "undeployed"->"parcial"->"deployed" 上不断变化。
但是,YARN 应用程序部署成功,但是就像 Spring Cloud Dataflow 服务器实例与 Apache Hadoop 之间的通信一样,它经常失败。
这可能是什么问题?
提前致谢!
好吧,这里没有太多信息可以继续,但您可能需要检查并确保您在 HDFS 中创建了必要的基本目录,并且您的 Yarn 用户对它有 read/write 权限.
spring.cloud.deployer.yarn.app.baseDir=/数据流
感谢大家的回答!一直忙于其他高优先级项目,但我能够使用 Ambari 构建所有项目(包括 Sabby Adannan 提到的插件)。现在一切正常!