Apache Flume program/setup 在两个 Ubuntu 虚拟机之间传输文本文件内容

Apache Flume program/setup to transfer text file contents between two Ubuntu VMs

我正在制作 Apache 原型 Flume。我的任务是在我使用 VirtualBox 设置的两个 Ubuntu VM 之间传输文本文件内容。我几乎不了解 Flume,尽管我一直在阅读他们的文档。

使用 VirtualBox,我能够创建一个内部网络,并且这两个 VM 能够成功地相互 ping 通。

我还能够下载并配置 flume,如图所示:https://cwiki.apache.org/confluence/display/FLUME/Getting+Started

我的观点是 Flume 已安装并可在两个虚拟机上运行(或者我认为如此)。

这个post给我一个小小的想法:Flume: Data transferring to Server一个

那么,我是否在每个 VM 上准确地实施了 flume.conf 文件?我需要写 Java 才能做到这一点吗?

另外,我找到了这个视频,在 18 分钟左右,这个人几乎完全按照我的要求做了。但是,我希望输入是一个文本文件。

那么,你能一步一步地告诉我(我是初学者)我将如何做这件事吗?或者指出任何有用的教程。

谢谢!

我通过使用接收器类型 file_roll 解决了这个问题。我还必须确定第二个 VM 的 IP,以便两者可以连接。

我在 link 找到了有关如何执行此操作的分步说明:http://thisandthat.io/blog/flume-part3/

此外,您不需要编写任何 Java 来执行此操作。但是,作为 Flume 的标准,请确保您的 JAVA_HOME 在 flume-env.sh 文件中正确声明。所有其他部分都由创建的 .conf 文件处理(如上文所述link)。