如何从本地 Hadoop 2.6 安装访问 S3/S3n？

Question

我正在尝试在我的本地计算机上重现 Amazon EMR 集群。为此，我安装了 latest stable version of Hadoop as of now - 2.6.0。现在我想访问一个 S3 存储桶，就像我在 EMR 集群中所做的那样。

我已经在 core-site.xml:

中添加了 aws 凭据

<property>
  <name>fs.s3.awsAccessKeyId</name>
  <value>some id</value>
</property>

<property>
  <name>fs.s3n.awsAccessKeyId</name>
  <value>some id</value>
</property>

<property>
  <name>fs.s3.awsSecretAccessKey</name>
  <value>some key</value>
</property>

<property>
  <name>fs.s3n.awsSecretAccessKey</name>
  <value>some key</value>
</property>

注意：由于键上有一些斜线，我用%2F

对它们进行了转义

如果我尝试列出存储桶的内容：

hadoop fs -ls s3://some-url/bucket/

我收到这个错误：

ls：方案没有文件系统：s3

我再次编辑了core-site.xml，并添加了与fs相关的信息：

<property>
  <name>fs.s3.impl</name>
  <value>org.apache.hadoop.fs.s3.S3FileSystem</value>
</property>

<property>
  <name>fs.s3n.impl</name>
  <value>org.apache.hadoop.fs.s3native.NativeS3FileSystem</value>
</property>

这次我得到了一个不同的错误：

-ls: Fatal internal error
java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.s3.S3FileSystem not found
        at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2074)
        at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2578)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2591)

不知何故，我怀疑 Yarn 发行版没有必要的 jar 来读取 S3，但我不知道从哪里得到这些。在此方向上的任何指示将不胜感激。

Answer 1

出于某种原因，默认情况下，包含 NativeS3FileSystem 实现的 jar hadoop-aws-[version].jar 在 2.6 和 2.7 版本的 hadoop classpath 中不存在。因此，尝试通过在位于 $HADOOP_HOME/etc/hadoop/hadoop-env.sh:

中的 hadoop-env.sh 中添加以下行来将其添加到类路径中

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HADOOP_HOME/share/hadoop/tools/lib/*

Assuming you are using Apache Hadoop 2.6 or 2.7

顺便说一下，您可以使用以下方法检查 Hadoop 的类路径：

bin/hadoop classpath

Answer 2

@Ashrith 的回答对我有一个修改：当运行 v2.6 on Ubuntu 时，我不得不使用 $HADOOP_PREFIX 而不是 $HADOOP_HOME。也许这是因为 $HADOOP_HOME 听起来像是 deprecated?

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${HADOOP_PREFIX}/share/hadoop/tools/lib/*

话虽如此，但在我的 Mac 上，通过 Homebrew 安装了 v2.6，这对我来说都不起作用。在那种情况下，我正在使用这个极其笨拙的导出：

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$(brew --prefix hadoop)/libexec/share/hadoop/tools/lib/*

Answer 3

如果您使用的是 HDP 2.x 或更高版本，您可以尝试在 Ambari 的 MapReduce2 配置设置中修改以下属性。

mapreduce.application.classpath

将以下值附加到现有字符串的末尾：

/usr/hdp/${hdp.version}/hadoop-mapreduce/*

Answer 4

为了解决这个问题，我尝试了以上所有方法，但都失败了（无论如何对于我的环境）。

但是我能够通过将上面提到的两个 jar 从工具目录复制到 common/lib 来让它工作。

之后工作正常。

Answer 5

import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.amazonaws:aws-java-sdk:1.10.34,org.apache.hadoop:hadoop-aws:2.6.0 pyspark-shell'

import pyspark
sc = pyspark.SparkContext("local[*]")

from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)

hadoopConf = sc._jsc.hadoopConfiguration()
myAccessKey = input() 
mySecretKey = input()
hadoopConf.set("fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")
hadoopConf.set("fs.s3.awsAccessKeyId", myAccessKey)
hadoopConf.set("fs.s3.awsSecretAccessKey", mySecretKey)

df = sqlContext.read.parquet("s3://myBucket/myKey")

如何从本地 Hadoop 2.6 安装访问 S3/S3n？

How can I access S3/S3n from a local Hadoop 2.6 installation?

hadoop

amazon-s3

amazon-web-services

hadoop-yarn

hadoop2