Spring XD - 找不到具有名称的模块

Question

我在 Spring XD 中使用了一些自定义模块。我可以在 XD 的单节点部署中使用 'module upload' 没有问题，但是在分布式模式下使用运行时出现以下异常：

org.springframework.xd.dirt.module.NoSuchModuleException: Could not find module with name 'grobid' and type 'processor'

我正在用 docker 使用 Spring XD 1.1.1.RELEASE 创建 XD 集群。这是导致此异常的命令序列：

server-unknown:>admin config server http://docker:9393
Successfully targeted http://docker:9393
xd:>module upload --type processor --name grobid --file /opt/.../grobid-1.0-SNAPSHOT.jar
Successfully uploaded module 'processor:grobid'
xd:>stream create --name grobidTest --definition "http --port=11001 | grobid --grobidHost=http://${GROBID_PORT_8080_TCP_ADDR}:${GROBID_PORT_8080_TCP_PORT} | processedXml:log"
Created new stream 'grobidTest'
xd:>stream deploy --name grobidTest --properties "module.grobid.count=1"
Deployed stream 'grobidTest'

根据查看文档，我设置了一个独立的 Redis 实例，并且在启动 XD 时没有日志表明它有任何连接问题。

在 shell 我可以访问其信息时，什么可能导致我的模块对节点不可用：

xd:>module info --name processor:grobid
Information about processor module 'grobid':

  Option Name  Description                                            Default  Type
  -----------  -----------------------------------------------------  -------  --------
  grobidHost   Grobid Host                                            <none>   String
  outputType   how this module should emit messages it produces       <none>   MimeType
  inputType    how this module should interpret messages it consumes  <none>   MimeType

到目前为止，我在日志中看到的唯一问题（我不知道它是否是一个障碍）是当我创建流时，我记录了一些 ZK 错误：

zk_1      | 2015-04-13 19:55:37,257 [myid:] - INFO  [ProcessThread(sid:0 cport:-1)::PrepRequestProcessor@645] - Got user-level KeeperException when processing sessionid:0x14cb4593f940001 type:create cxid:0x59 zxid:0x36 txntype:-1 reqpath:n/a Error Path:/xd/modules/sink/log/dependencies Error:KeeperErrorCode = NoNode for /xd/modules/sink/log/dependencies
zk_1      | 2015-04-13 19:55:37,273 [myid:] - INFO  [ProcessThread(sid:0 cport:-1)::PrepRequestProcessor@645] - Got user-level KeeperException when processing sessionid:0x14cb4593f940001 type:create cxid:0x64 zxid:0x3c txntype:-1 reqpath:n/a Error Path:/xd/modules/processor/grobid/dependencies Error:KeeperErrorCode = NoNode for /xd/modules/processor/grobid/dependencies
zk_1      | 2015-04-13 19:55:37,289 [myid:] - INFO  [ProcessThread(sid:0 cport:-1)::PrepRequestProcessor@645] - Got user-level KeeperException when processing sessionid:0x14cb4593f940001 type:create cxid:0x6e zxid:0x41 txntype:-1 reqpath:n/a Error Path:/xd/modules/source/http/dependencies Error:KeeperErrorCode = NoNode for /xd/modules/source/http/dependencies

Answer 1

Spring XD 在 https://github.com/spring-projects/spring-xd/commit/208181c9f4693d2ef2e4e0d4065d9d8727fa1601 中添加了 "shared remote module registry" 的概念（即 1.2，在撰写本文时尚未发布）。这依赖于共享位置，大概是 HDFS。

在此之前，如果您要使用带有自定义上传模块的集群，那么您需要以某种方式让所有容器都可以使用写入模块的位置。这样做的传统方法是使用类似 NFS 的东西。

如果您正在使用 docker（看起来您是，但不确定这是否仅在一台主机上），您可以为此使用 Docker data volume。

澄清一下，最后两段甚至适用于 Spring XD 1。1.x

Spring XD - 找不到具有名称的模块

Spring XD - Could not find module with name

spring

spring-xd