hadoop-3.3.1中core-site.xml中是否需要配置hadoop.tmp.directory?
Is it necessary to configure hadoop.tmp.directory in core-site.xml in hadoop-3.3.1?
由于本人初学大数据,安装了Hadoop 3.3.1和Hive,并在Hive上上传数据。我有一些疑问和困惑:
我没有在core-site.xml中配置hadoop.tmp.directory,但是在hdfs-site.xml中配置了datanode和namenode目录路径。如果我不在 core-site.xml 中配置 tmp 目录,这会影响我的 mapreduce 工作吗?
因为我已经集群了 slaves 和 masters 并且还安装了 hive 并上传了数据,现在如果我在任何集群主机或任何一个从机所以我应该在每次重新配置后做 hdfs namenode -format,我会通过格式化 namenode 丢失配置单元和上传数据吗?
这是我的 hdfs-site.xml 和 core-site.xml 配置。请告诉我这些配置是否正确。
核心-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master:9000</value>
</property>
</configuration>
hdfs-site.xml 主人:
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/home/hdoop/dfsdata/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hdoop/dfsdata/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
hdfs-site.xml 在奴隶中:
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/home/hdoop/dfsdata/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
hadoop.tmp.dir
默认为 /tmp/hadoop-${user.name}
。没有特别的理由改变它
是的,重新格式化名称节点会删除所有 HDFS 数据,但不会截断您的 Hive 元存储
由于本人初学大数据,安装了Hadoop 3.3.1和Hive,并在Hive上上传数据。我有一些疑问和困惑:
我没有在core-site.xml中配置hadoop.tmp.directory,但是在hdfs-site.xml中配置了datanode和namenode目录路径。如果我不在 core-site.xml 中配置 tmp 目录,这会影响我的 mapreduce 工作吗?
因为我已经集群了 slaves 和 masters 并且还安装了 hive 并上传了数据,现在如果我在任何集群主机或任何一个从机所以我应该在每次重新配置后做 hdfs namenode -format,我会通过格式化 namenode 丢失配置单元和上传数据吗?
这是我的 hdfs-site.xml 和 core-site.xml 配置。请告诉我这些配置是否正确。
核心-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master:9000</value>
</property>
</configuration>
hdfs-site.xml 主人:
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/home/hdoop/dfsdata/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hdoop/dfsdata/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
hdfs-site.xml 在奴隶中:
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/home/hdoop/dfsdata/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
hadoop.tmp.dir
默认为 /tmp/hadoop-${user.name}
。没有特别的理由改变它
是的,重新格式化名称节点会删除所有 HDFS 数据,但不会截断您的 Hive 元存储