将 spark-redis 连接器添加为依赖项时出现问题
Issues adding spark-redis connector as a dependency
我正在尝试使用 RedisLabs 提供的 spark-redis 连接器。我可以在我的本地环境中尝试,下载必要的 jars 文件。
但是当我尝试在 EMR 中执行它时,我需要将它添加到我的 built.sbt 文件中,如下所示:
libraryDependencies += "redis.clients" % "jedis" % "2.9.0"
libraryDependencies += "org.apache.commons" % "commons-pool2" % "2.5.0"
libraryDependencies += "RedisLabs" % "spark-redis" % "0.3.2"
但我收到一条错误消息,指出无法解决该依赖项。它找不到 spark-redis 库。
还有其他方法吗?有什么建议吗?
我能够编译添加 spark-streaming 到依赖项并包括来自外部的 spark streaming 的依赖项 URL:
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.3.0" % "provided"
libraryDependencies += "redis.clients" % "jedis" % "2.9.0"
libraryDependencies += "org.apache.commons" % "commons-pool2" % "2.5.0"
libraryDependencies += "RedisLabs" % "spark-redis" % "0.3.2" from "https://dl.bintray.com/spark-packages/maven/RedisLabs/spark-redis/0.3.2/spark-redis-0.3.2.jar"
我正在尝试使用 RedisLabs 提供的 spark-redis 连接器。我可以在我的本地环境中尝试,下载必要的 jars 文件。
但是当我尝试在 EMR 中执行它时,我需要将它添加到我的 built.sbt 文件中,如下所示:
libraryDependencies += "redis.clients" % "jedis" % "2.9.0"
libraryDependencies += "org.apache.commons" % "commons-pool2" % "2.5.0"
libraryDependencies += "RedisLabs" % "spark-redis" % "0.3.2"
但我收到一条错误消息,指出无法解决该依赖项。它找不到 spark-redis 库。
还有其他方法吗?有什么建议吗?
我能够编译添加 spark-streaming 到依赖项并包括来自外部的 spark streaming 的依赖项 URL:
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.3.0" % "provided"
libraryDependencies += "redis.clients" % "jedis" % "2.9.0"
libraryDependencies += "org.apache.commons" % "commons-pool2" % "2.5.0"
libraryDependencies += "RedisLabs" % "spark-redis" % "0.3.2" from "https://dl.bintray.com/spark-packages/maven/RedisLabs/spark-redis/0.3.2/spark-redis-0.3.2.jar"