如何在 OGG 中为 Hdfs 配置 kafka 连接处理程序
How can I configure the kafka connect handler in OGG for Hdfs
我正在做一个关于使用 Kafka（新的）将数据从 Oracle 数据库移动到 Hadoop 文件系统的 POC。我已经在 oracle db 上配置了我的数据提取，它将在我的源 table 中所做的更改发布到我的 kafka 处理程序消费者，我可以看到关于我的主题的数据。现在我想在 kafka 连接处理程序上做同样的事情，我想要我的 hdfs 中文件上的模式和数据。我知道我可以配置 kafka 处理程序来读取我的提取跟踪文件。但是我应该把目标 hdfs 的详细信息放在哪里，以便 kafka 可以将数据转储到 hdfs 中？
- 使用 OGG Kafka Connect 处理程序从 Oracle 流式传输到 Kafka。示例 here and here. There's also a Kafka handler if you want. More details here.
- 使用 kafka-connect-hdfs
从 Kafka 流式传输到 HDFS
我正在做一个关于使用 Kafka（新的）将数据从 Oracle 数据库移动到 Hadoop 文件系统的 POC。我已经在 oracle db 上配置了我的数据提取，它将在我的源 table 中所做的更改发布到我的 kafka 处理程序消费者，我可以看到关于我的主题的数据。现在我想在 kafka 连接处理程序上做同样的事情，我想要我的 hdfs 中文件上的模式和数据。我知道我可以配置 kafka 处理程序来读取我的提取跟踪文件。但是我应该把目标 hdfs 的详细信息放在哪里，以便 kafka 可以将数据转储到 hdfs 中？
- 使用 OGG Kafka Connect 处理程序从 Oracle 流式传输到 Kafka。示例 here and here. There's also a Kafka handler if you want. More details here.
- 使用 kafka-connect-hdfs 从 Kafka 流式传输到 HDFS