FIWARE Cygnus 下沉到 Elasticsearch/Kibana ?

FIWARE Cygnus sink to Elasticsearch/Kibana ?

我目前的工作流程是:

Fiware Orion -> Fiware Cygnus -> Kafka -> Logstash -> Elasticsearch -> Kibana

我想将数据从 Cygnus 直接推送到 Elasticsearch,是否有可用的接收器?

Apache Flume/Elasticsearch 接收器已经存在:https://flume.apache.org/releases/content/1.3.0/apidocs/org/apache/flume/sink/elasticsearch/ElasticSearchSink.html

我想知道将它用于 Cygnus 是否容易?

直到 Cygnus 1.5.0(包含在内),这样的接收器才能在 Cygnus 代理配置中完美使用(与任何其他 Flume 接收器一样)。

从 1.6.0(包括在内,这是最后一个版本)你将无法使用,因为我们在内部用自定义 NGSIEvent 替换了原生 Event objects 的用法.为什么?:

  • Event 是一组 headers 和 body 的原始字节数组。
  • NGSIEvent 继承自 Event 并且是一组 headers,body 的已解析版本(作为 object)和 body 指向 null 的原始字节数组(最后一部分是避免与本机 Flume 接收器兼容的部分)。

无论如何,这是 "easy" 修复:新版本 NGSIEvent 将包含 body 的解析版本和 body 本身作为原始字节。