Linux和HADOOP安装在一台机器的一个驱动器上,我可以在计算机的另一个驱动器上安装HDFS吗

Linux and HADOOP are installed on one drive of a machine, can I have HDFS on another drive of the computer

我是HADOOP的初学者。我有一台 windows 笔记本电脑,硬盘分为 4 个驱动器。最近清空了一个盘(D盘),在上面安装了Ubuntu14.04,安装了HADOOP和HIVE。现在,在尝试通过 linux 处理 HADOOP 时,我面临 space 限制。

LINUX安装在D盘,Windows安装在C盘。当我想将本地文件系统中的数据移动到HIVE时,我必须先将它复制到HDFS,然后再复制到HIVE,现在我的问题是我电脑上的另外两个驱动器在这方面是否有任何用处作为本地文件系统或 HDFS,最重要的是 HDFS。如果是,请告诉我该怎么做。非常感谢任何帮助。

自动安装 WINDOWS 启动时驱动器:

为了在 ubuntu 中将您的 windows 驱动器用作 ubuntu 驱动器,您必须在启动时自动安装该驱动器。

  1. 在终端中,使用以下命令在 /media 文件夹中创建挂载点:

    sudo mkdir /media/win-d

  2. 找到您的 windows 驱动器路径或 UUID 使用:

    sudo blkid

/dev/sda2: LABEL="win-os" UUID="18E0B145E0B1991A" TYPE="ntfs"

  1. 在终端中使用 sudo nano /etc/fstab 编辑 /etc/fstab 添加以下行(以在 ubuntu 启动时自动挂载 windows 驱动器) 使用其中之一:

/dev/sda2 /media/win-d ntfs defaults 0 0

(或)

UUID=18E0B145E0B1991A /media/win-d ntfs defaults 0 0

NOTE: Restart your system if necessary.

现在,您可以将此安装的驱动器用于 HDFS 存储或本地文件系统。

HDFS 目录:

根据您的 hadoop 版本,如果您想使用本地,请使用 hdfs-site.xml(在所有节点上)中的 file:// 更改 hdfs 目录文件系统而不是 HDFS 文件系统。