Apache-Kafka-Connect ， Confluent-HDFS-Connector ， Unknown-magic-byte
Apache-Kafka-Connect , Confluent-HDFS-Connector , Unknown-magic-byte
我使用 Confluent HDFS 连接器将数据从 Kafka 主题移动到 HDFS 日志文件。但是当我 运行 这些命令时：
./bin/connect-standalone
etc/schema-registry/connect-avro-standalone.properties \
etc/kafka-connect-hdfs/quickstart-hdfs.properties
我正在接受跟随错误。我怎么解决这个问题。这是什么原因？
Caused by: org.apache.kafka.common.errors.SerializationException:
Error deserializing Avro message for id -1 Caused by:
org.apache.kafka.common.errors.SerializationException: Unknown magic
byte! [2017-06-03 13:44:41,895] ERROR Task is being killed and will
not recover until manually restarted
(org.apache.kafka.connect.runtime.WorkerTask:142)
如果您尝试读取连接器中的数据并将 key.converter 和 value.converter 设置为 AvroConverter 但您的输入主题包含未序列化的数据，则会发生这种情况使用模式注册表的相同 AvroSerializer。
您必须将转换器与输入数据相匹配。换句话说，使用可以反序列化输入数据的序列化器。
我使用 Confluent HDFS 连接器将数据从 Kafka 主题移动到 HDFS 日志文件。但是当我 运行 这些命令时：
./bin/connect-standalone etc/schema-registry/connect-avro-standalone.properties \ etc/kafka-connect-hdfs/quickstart-hdfs.properties
我正在接受跟随错误。我怎么解决这个问题。这是什么原因？
Caused by: org.apache.kafka.common.errors.SerializationException: Error deserializing Avro message for id -1 Caused by: org.apache.kafka.common.errors.SerializationException: Unknown magic byte! [2017-06-03 13:44:41,895] ERROR Task is being killed and will not recover until manually restarted (org.apache.kafka.connect.runtime.WorkerTask:142)
如果您尝试读取连接器中的数据并将 key.converter 和 value.converter 设置为 AvroConverter 但您的输入主题包含未序列化的数据，则会发生这种情况使用模式注册表的相同 AvroSerializer。
您必须将转换器与输入数据相匹配。换句话说，使用可以反序列化输入数据的序列化器。