无法连接到 minio-s3 spark

Question

我正在尝试使用 spark 连接到 minio 提供的 s3 但它说 bucket minikube 不存在 。（已创建存储桶）

val spark = SparkSession.builder().appName("AliceProcessingTwentyDotTwo")
    .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer").master("local[1]")
    .getOrCreate()
  val sc= spark.sparkContext
  sc.hadoopConfiguration.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
  sc.hadoopConfiguration.set("fs.s3a.endpoint", "http://localhost:9000")
  sc.hadoopConfiguration.set("fs.s3a.access.key", "minioadmin")
  sc.hadoopConfiguration.set("fs.s3a.secret.key", "minioadmin")
  sc.hadoopConfiguration.set("fs.s3`a`.path.style.access", "true")
  sc.hadoopConfiguration.set("fs.s3a.connection.ssl.enabled","false")  
  sc.textFile("""s3a://minikube/data.json""").collect()

我正在使用以下指南进行连接。

https://github.com/minio/cookbook/blob/master/docs/apache-spark-with-minio.md

这些是我在 scala 中使用的依赖项。

"org.apache.spark" %% "spark-core" % "2.4.0", "org.apache.spark" %% "spark-sql" % "2.4.0", "com.amazonaws" % "aws-java-sdk" % "1.11.712", "org.apache.hadoop" % "hadoop-aws" % "2.7.3",

Answer 1

尝试不带 hadoop 的 spark 2.4.3，并使用 Hadoop 2.8.2 或 3.1.2。在尝试下面 link 中的步骤后，我可以使用 cli

连接 minio

https://www.jitsejan.com/setting-up-spark-with-minio-as-object-storage.html

无法连接到 minio-s3 spark

unable to connect to minio-s3 spark

scala

amazon-s3

apache-spark

minio