FIWARE Cygnus 下沉到 Elasticsearch/Kibana ?
FIWARE Cygnus sink to Elasticsearch/Kibana ?
我目前的工作流程是:
Fiware Orion -> Fiware Cygnus -> Kafka -> Logstash -> Elasticsearch -> Kibana
我想将数据从 Cygnus 直接推送到 Elasticsearch,是否有可用的接收器?
Apache Flume/Elasticsearch 接收器已经存在:https://flume.apache.org/releases/content/1.3.0/apidocs/org/apache/flume/sink/elasticsearch/ElasticSearchSink.html
我想知道将它用于 Cygnus 是否容易?
直到 Cygnus 1.5.0(包含在内),这样的接收器才能在 Cygnus 代理配置中完美使用(与任何其他 Flume 接收器一样)。
从 1.6.0(包括在内,这是最后一个版本)你将无法使用,因为我们在内部用自定义 NGSIEvent
替换了原生 Event
objects 的用法.为什么?:
Event
是一组 headers 和 body 的原始字节数组。
NGSIEvent
继承自 Event
并且是一组 headers,body 的已解析版本(作为 object)和 body 指向 null
的原始字节数组(最后一部分是避免与本机 Flume 接收器兼容的部分)。
无论如何,这是 "easy" 修复:新版本 NGSIEvent
将包含 body 的解析版本和 body 本身作为原始字节。
我目前的工作流程是:
Fiware Orion -> Fiware Cygnus -> Kafka -> Logstash -> Elasticsearch -> Kibana
我想将数据从 Cygnus 直接推送到 Elasticsearch,是否有可用的接收器?
Apache Flume/Elasticsearch 接收器已经存在:https://flume.apache.org/releases/content/1.3.0/apidocs/org/apache/flume/sink/elasticsearch/ElasticSearchSink.html
我想知道将它用于 Cygnus 是否容易?
直到 Cygnus 1.5.0(包含在内),这样的接收器才能在 Cygnus 代理配置中完美使用(与任何其他 Flume 接收器一样)。
从 1.6.0(包括在内,这是最后一个版本)你将无法使用,因为我们在内部用自定义 NGSIEvent
替换了原生 Event
objects 的用法.为什么?:
Event
是一组 headers 和 body 的原始字节数组。NGSIEvent
继承自Event
并且是一组 headers,body 的已解析版本(作为 object)和 body 指向null
的原始字节数组(最后一部分是避免与本机 Flume 接收器兼容的部分)。
无论如何,这是 "easy" 修复:新版本 NGSIEvent
将包含 body 的解析版本和 body 本身作为原始字节。