将 Kafka 流式数据存储到 AWS EC2 上的特定卷
Store Kafka streamed data to specific volume on AWS EC2
我有两个卷附加到我的 AWS EC2 CentOS 7,primary
和 secondary
。如果我执行某些需要下载和存储数据的操作,如何指定存储路径?
例如,我想将 Kafka 数据流式传输到文本文件中,以存储在辅助卷中。如果我运行下面的命令:
bin/kafka-console-consumer.sh --topic my_kafka_topic --from-beginning --bootstrap-server "my_dns:9092" | tee output.txt
数据流自动写入存储在primary
卷上的文件output.txt
。我如何指定它存储在 secondary
卷上。
我可以用 df -h
找到文件系统路径,这是我看到的:
Filesystem Size Used Avail Use% Mounted on
devtmpfs 3.8G 0 3.8G 0% /dev
tmpfs 3.8G 0 3.8G 0% /dev/shm
tmpfs 3.8G 17M 3.8G 1% /run
tmpfs 3.8G 0 3.8G 0% /sys/fs/cgroup
/dev/nvme0n1p1 58G 20G 38G 35% /
/dev/nvme1n1 60G 33M 60G 1% /opt/data/datadir1
其中 /dev/nvme1n1
是 secondary
音量。
谢谢。
stored on the primary volume automatically
不,不是。这恰好是您 运行 命令所在的位置。您可以先 cd
到其他卷目录,然后该命令将按您的意愿运行。
但是,您应该为安装的卷上的文件指定一个绝对路径,而不是您 运行 命令所在的当前目录的相对路径。
我有两个卷附加到我的 AWS EC2 CentOS 7,primary
和 secondary
。如果我执行某些需要下载和存储数据的操作,如何指定存储路径?
例如,我想将 Kafka 数据流式传输到文本文件中,以存储在辅助卷中。如果我运行下面的命令:
bin/kafka-console-consumer.sh --topic my_kafka_topic --from-beginning --bootstrap-server "my_dns:9092" | tee output.txt
数据流自动写入存储在primary
卷上的文件output.txt
。我如何指定它存储在 secondary
卷上。
我可以用 df -h
找到文件系统路径,这是我看到的:
Filesystem Size Used Avail Use% Mounted on
devtmpfs 3.8G 0 3.8G 0% /dev
tmpfs 3.8G 0 3.8G 0% /dev/shm
tmpfs 3.8G 17M 3.8G 1% /run
tmpfs 3.8G 0 3.8G 0% /sys/fs/cgroup
/dev/nvme0n1p1 58G 20G 38G 35% /
/dev/nvme1n1 60G 33M 60G 1% /opt/data/datadir1
其中 /dev/nvme1n1
是 secondary
音量。
谢谢。
stored on the primary volume automatically
不,不是。这恰好是您 运行 命令所在的位置。您可以先 cd
到其他卷目录,然后该命令将按您的意愿运行。
但是,您应该为安装的卷上的文件指定一个绝对路径,而不是您 运行 命令所在的当前目录的相对路径。