两个（Kafka）S3 连接器不能同时工作

Question

我有一个 Kafka 连接在一个集群（3 个节点）中工作，有 1 个连接器（主题 -> S3），一切都很好：

root@dev-kafka1 ~]# curl localhost:8083/connectors/s3-postgres/status | jq -r
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   219  100   219    0     0  36384      0 --:--:-- --:--:-- --:--:-- 43800
{
  "name": "s3-postgres",
  "connector": {
    "state": "RUNNING",
    "worker_id": "127.0.0.1:8083"
  },
  "tasks": [
    {
      "state": "RUNNING",
      "id": 0,
      "worker_id": "127.0.0.1:8083"
    },
    {
      "state": "RUNNING",
      "id": 1,
      "worker_id": "127.0.0.1:8083"
    }
  ],
  "type": "sink"
}

但是当我创建另一个连接器时，任务状态总是这样：

[root@dev-kafka1 ~]# curl localhost:8083/connectors/s3-postgres6/status | jq -r
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   109  100   109    0     0  14347      0 --:--:-- --:--:-- --:--:-- 15571
{
  "name": "s3-postgres6",
  "connector": {
    "state": "RUNNING",
    "worker_id": "127.0.0.1:8083"
  },
  "tasks": [],
  "type": "sink"
}

我不知道为什么我在配置中做错了，同一个插件的两个连接器不能一起工作，如果我停止连接器 #1 那运行很好，连接器 #2重启后，工作正常。有谁知道我应该在配置中更改什么吗？

Answer 1

如果不搜索日志就很难说到底是什么问题，甚至可能暂时更改日志记录以调试详细信息，但根据连接器属性，Kafka Connect 可能非常耗费内存。

因此，我建议运行将自身连接到来自 Kafka 代理的隔离机器上，并允许 Connect 通过导出 KAFKA_HEAP_OPTS变量

两个（Kafka）S3 连接器不能同时工作

Two (Kafka) S3 Connectors not working simultaneously

apache-kafka

apache-kafka-connect

kafka-cluster