Kafka 连接 运行 超出堆 space。已经设置了`-Xmx12g`
Kafka Connect running out of heap space. Already setting `-Xmx12g`
我的 Kafka Connect 接收器 运行 堆外 space。还有其他类似的主题：
问题只是 运行 默认内存设置。以前，将其提高到 2g 可以解决我的问题。但是，当添加一个新的接收器时，堆错误又回来了。我把Xmx提高到12g，还是报错
在我的 systemd 服务文件中，我有：
Environment="KAFKA_HEAP_OPTS=-Xms512m -Xmx12g"
即使 Xmx 设置非常高，我仍然遇到堆错误。我还将我的 flush.size 降低到 1000，我认为这会有所帮助。仅供参考，此连接器针对 11 个不同的 Kafka 主题。这会带来独特的内存需求吗？
如何修复或进一步诊断？
仅供参考，这是与 Kafka 0.10.2.1 和 Confluent Platform 3.2.2 一起使用的。最近的版本是否在此处提供任何改进？
java.lang.OutOfMemoryError: Java heap space
at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57)
at java.nio.ByteBuffer.allocate(ByteBuffer.java:335)
at io.confluent.connect.s3.storage.S3OutputStream.<init>(S3OutputStream.java:67)
at io.confluent.connect.s3.storage.S3Storage.create(S3Storage.java:197)
at io.confluent.connect.s3.format.avro.AvroRecordWriterProvider.write(AvroRecordWriterProvider.java:67)
at io.confluent.connect.s3.TopicPartitionWriter.writeRecord(TopicPartitionWriter.java:393)
at io.confluent.connect.s3.TopicPartitionWriter.write(TopicPartitionWriter.java:197)
at io.confluent.connect.s3.S3SinkTask.put(S3SinkTask.java:173)
at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:429)
at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:250)
at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:179)
at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:148)
at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:139)
at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:182)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
[2018-03-13 20:31:46,398] ERROR Task is being killed and will not recover until manually restarted (org.apache.kafka.connect.runtime.WorkerSinkTask:450)
[2018-03-13 20:31:46,401] ERROR Task avro-s3-sink-0 threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:141)
org.apache.kafka.connect.errors.ConnectException: Exiting WorkerSinkTask due to unrecoverable exception.
at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:451)
at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:250)
at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:179)
at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:148)
at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:139)
at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:182)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
首先，我对Kafka一无所知。
但是，作为一般规则，当进程遇到某种容量限制并且您无法提高该限制时，您必须以某种方式限制该进程。建议您探索周期性暂停的可能性。也许睡 10 毫秒非常 100 毫秒。像那样的东西。
您可以尝试的另一件事是 将您的 Kafka 进程固定 到一个特定的 CPU。这有时会产生惊人的有益效果。
目前，S3 连接器的内存要求取决于未完成分区的数量和 s3.part.size。尝试将后者设置为 5MB（允许的最小值）。默认值为 25MB。
另请阅读此处，了解有关尺码建议的更详细说明：
https://github.com/confluentinc/kafka-connect-storage-cloud/issues/29
我的 Kafka Connect 接收器 运行 堆外 space。还有其他类似的主题：
问题只是 运行 默认内存设置。以前，将其提高到 2g 可以解决我的问题。但是，当添加一个新的接收器时，堆错误又回来了。我把Xmx提高到12g，还是报错
在我的 systemd 服务文件中，我有：
Environment="KAFKA_HEAP_OPTS=-Xms512m -Xmx12g"
即使 Xmx 设置非常高，我仍然遇到堆错误。我还将我的 flush.size 降低到 1000，我认为这会有所帮助。仅供参考，此连接器针对 11 个不同的 Kafka 主题。这会带来独特的内存需求吗？
如何修复或进一步诊断？
仅供参考，这是与 Kafka 0.10.2.1 和 Confluent Platform 3.2.2 一起使用的。最近的版本是否在此处提供任何改进？
java.lang.OutOfMemoryError: Java heap space
at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57)
at java.nio.ByteBuffer.allocate(ByteBuffer.java:335)
at io.confluent.connect.s3.storage.S3OutputStream.<init>(S3OutputStream.java:67)
at io.confluent.connect.s3.storage.S3Storage.create(S3Storage.java:197)
at io.confluent.connect.s3.format.avro.AvroRecordWriterProvider.write(AvroRecordWriterProvider.java:67)
at io.confluent.connect.s3.TopicPartitionWriter.writeRecord(TopicPartitionWriter.java:393)
at io.confluent.connect.s3.TopicPartitionWriter.write(TopicPartitionWriter.java:197)
at io.confluent.connect.s3.S3SinkTask.put(S3SinkTask.java:173)
at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:429)
at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:250)
at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:179)
at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:148)
at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:139)
at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:182)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
[2018-03-13 20:31:46,398] ERROR Task is being killed and will not recover until manually restarted (org.apache.kafka.connect.runtime.WorkerSinkTask:450)
[2018-03-13 20:31:46,401] ERROR Task avro-s3-sink-0 threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:141)
org.apache.kafka.connect.errors.ConnectException: Exiting WorkerSinkTask due to unrecoverable exception.
at org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages(WorkerSinkTask.java:451)
at org.apache.kafka.connect.runtime.WorkerSinkTask.poll(WorkerSinkTask.java:250)
at org.apache.kafka.connect.runtime.WorkerSinkTask.iteration(WorkerSinkTask.java:179)
at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:148)
at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:139)
at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:182)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
首先，我对Kafka一无所知。
但是，作为一般规则，当进程遇到某种容量限制并且您无法提高该限制时，您必须以某种方式限制该进程。建议您探索周期性暂停的可能性。也许睡 10 毫秒非常 100 毫秒。像那样的东西。
您可以尝试的另一件事是 将您的 Kafka 进程固定 到一个特定的 CPU。这有时会产生惊人的有益效果。
目前，S3 连接器的内存要求取决于未完成分区的数量和 s3.part.size。尝试将后者设置为 5MB（允许的最小值）。默认值为 25MB。
另请阅读此处，了解有关尺码建议的更详细说明：
https://github.com/confluentinc/kafka-connect-storage-cloud/issues/29