我如何将数据和指标从 Confluent 发送到 elasticsearch？

Question

要求是将指标和数据从 Confluent 云发送到弹性云。我应该使用 logstash 还是有什么方法可以实现它？已阅读有关 elasticsearch syn 连接器的信息，但有人可以帮助我概述所有需要完成的工作吗？

Answer 1

Confluent Cloud 提供 managed connectors, including one for Elastic cloud。

您可以看到使用它的示例 in this blog，但它基本上是一个 point-and-click GUI，用于指定从哪个 Kafka 主题读取数据以及将数据流式传输到哪个 Elasticsearch 实例

Answer 2

所以我使用了一个叫做 HTTP 模块的东西从 Confluent API 收集指标，因为它支持 json 格式。因此，我们可以将 HTTP 模块与 json 指标集一起使用，然后使用 post 请求从融合中获取 API。

使用如下所示的 HTTP 模块，并确保 body 是 strigfied json。

    - module: http
      period: 10s
      metricsets:
        - json
      hosts: ["${HOST_NAME}"]
      headers :
        Content-Type: "application/json"
      path: "${PATH_NAME}"
      namespace: "confluent"
      body: "{ }"
      resource.kafka.id: "${KAFKA_ID}"
      resource.schema_registry.id: "${REG_ID}"
      method: "POST"
      response.enabled: true
      request.enabled: true
      username: "${USER_NAME}"
      password: "${PASSWORD}"

我如何将数据和指标从 Confluent 发送到 elasticsearch？

How do i send data and metrics from Confluent to elasticsearch?

elasticsearch

apache-kafka-connect

elk

confluent-cloud

confluent-platform