如何在 Kafka rest 中指示消费者偏移 API

Question

我正在使用 Kafka 0.10 REST API。我只是在 Java 中使用了一个 HTTP 对象来调用 Kafka REST API（例如 curl 命令）。我消费消息的时候需要标明消费者偏移量，不然就是从头读取或者最新读取，但是我找不到标明偏移量的参数。

请问是否有完整的 REST 代理文档来描述每个参数。

Answer 1

假设您指的是 Confluent Kafka REST 代理，因为 Apache Kafka 没有用于消费消息的 REST API。

完整文档在 Confluent 网站上

https://docs.confluent.io/current/kafka-rest/docs/api.html

版本 0.10 是 Apache Kafka 的版本，但不是 Confluent REST Proxy 的版本。包含 Apache Kafka 0.10.0 的 Confluent 版本是 Confluent 3.0.0。自几年前发布此版本以来，REST 代理有许多增强功能，因此建议您升级到 4.0 或 4.1 并使用 v2 REST API.

在较新的版本中，您可以 POST 像这样的偏移量列表：

POST /consumers/testgroup/instances/my_consumer/offsets HTTP/1.1
Host: proxy-instance.kafkaproxy.example.com
Content-Type: application/vnd.kafka.v2+json

{
  "offsets": [
    {
      "topic": "test",
      "partition": 0,
      "offset": 20
    },
    {
      "topic": "test",
      "partition": 1,
      "offset": 30
    }
  ]
}

Answer 2

来自 https://docs.confluent.io/current/kafka-rest/docs/api.html

GET /topics/(string: topic_name)/partitions/(int: partition_id)/messages?offset=(int)[&count=(int)]

如何在 Kafka rest 中指示消费者偏移 API

How to indicate consumer offset in Kafka rest API

apache-kafka

kafka-rest