将 Kafka 流式数据存储到 AWS EC2 上的特定卷

Store Kafka streamed data to specific volume on AWS EC2

我有两个卷附加到我的 AWS EC2 CentOS 7,primarysecondary。如果我执行某些需要下载和存储数据的操作,如何指定存储路径?

例如,我想将 Kafka 数据流式传输到文本文件中,以存储在辅助卷中。如果我运行下面的命令:

bin/kafka-console-consumer.sh --topic my_kafka_topic --from-beginning --bootstrap-server "my_dns:9092" | tee output.txt

数据流自动写入存储在primary卷上的文件output.txt。我如何指定它存储在 secondary 卷上。

我可以用 df -h 找到文件系统路径,这是我看到的:

Filesystem      Size  Used Avail Use% Mounted on
devtmpfs        3.8G     0  3.8G   0% /dev
tmpfs           3.8G     0  3.8G   0% /dev/shm
tmpfs           3.8G   17M  3.8G   1% /run
tmpfs           3.8G     0  3.8G   0% /sys/fs/cgroup
/dev/nvme0n1p1   58G   20G   38G  35% /
/dev/nvme1n1     60G   33M   60G   1% /opt/data/datadir1

其中 /dev/nvme1n1secondary 音量。 谢谢。

stored on the primary volume automatically

不,不是。这恰好是您 运行 命令所在的位置。您可以先 cd 到其他卷目录,然后该命令将按您的意愿运行。

但是,您应该为安装的卷上的文件指定一个绝对路径,而不是您 运行 命令所在的当前目录的相对路径。