使用ORC格式将事件从kafka写入Hive
Writting events from kafka to Hive with ORC format
我正在尝试使用 kafka 连接器从 Kafka 总线以 OCR 格式在 Hive 中写入数据。
总线中的事件是avro 格式。我需要这样的东西 ConvertAvroToORC
对于 NiFi 但对于 Kafka 连接器
目前 HDFS Kafka Connect 不支持 ORC。
欢迎您构建 PR 并自行试用。
已发布 io.confluent.connect.hdfs.orc.OrcFormat 包含在 HDFS 连接器中 io.confluent.connect.hdfs.HdfsSinkConnector https://docs.confluent.io/current/connect/kafka-connect-hdfs/configuration_options.html#hdfs-2-sink-connector-configuration-properties
我正在尝试使用 kafka 连接器从 Kafka 总线以 OCR 格式在 Hive 中写入数据。
总线中的事件是avro 格式。我需要这样的东西 ConvertAvroToORC 对于 NiFi 但对于 Kafka 连接器
目前 HDFS Kafka Connect 不支持 ORC。
欢迎您构建 PR 并自行试用。
已发布 io.confluent.connect.hdfs.orc.OrcFormat 包含在 HDFS 连接器中 io.confluent.connect.hdfs.HdfsSinkConnector https://docs.confluent.io/current/connect/kafka-connect-hdfs/configuration_options.html#hdfs-2-sink-connector-configuration-properties