如何下载dse.jar

Question

我正在尝试使用 DataStax Enterprise 4.6 在 Java 和运行中编写 Spark 应用程序它在 DSE 的 Spark 分析模式下。

使用DSEConfHelper创建Spark上下文的代码：

SparkConf conf = DseSparkConfHelper.enrichSparkConf(new SparkConf())
            .setAppName( "My application");

要使用 DSEConfHelper 我们需要导入 com.datastax.bdp.spark.DseSparkConfHelper 位于 dse.jar.

在我的 pom.xml 中，我包含了依赖项：

<dependency>
    <groupId>com.datastax</groupId>
    <artifactId>bdp</artifactId>
    <version>4.6.0</version>
</dependency>

但是Maven无法下载dse.jar。

请帮助我。

创建Spark上下文的代码参考来自： http://www.datastax.com/documentation/datastax_enterprise/4.6/datastax_enterprise/spark/sparkJavaApi.html

Answer 1

编辑：这已完全被 com.datastax.dse.dse-spark-dependencies 工件取代。将其添加到您的 pom.xml:

<dependencies>
  <dependency>
    <groupId>com.datastax.dse</groupId>
    <artifactId>dse-spark-dependencies</artifactId>
    <version>${dse.version}</version>
    <scope>provided</scope>
  </dependency>
<dependencies>

<repositories>
  <repository>
    <id>DataStax-Repo</id>
    <url>https://repo.datastax.com/public-repos/</url>
  </repository>
</repositories>

有关 Maven、SBT 和 Gradle 示例项目，请参阅 https://github.com/datastax/SparkBuildExamples。

原始的，过时的答案：

您现在必须手动安装 dse.jar。有两种方法可以做到这一点。

选项 1 使用 mvn install:

安装 JAR 文件

$ mvn install:install-file -Dfile=<path-to-dse.jar> -DgroupId=com.datastax -DartficactId=bdp -Dversion=4.6.0

选项 2 手动将 dse.jar 从您的安装位置复制到 ${project.basedir}/lib/。然后修改你的pom.xml:

<dependency>
  <groupId>com.datastax</groupId>
  <artifactId>bdp</artifactId>
  <version>4.6.0</version>
  <scope>system</scope>
  <systemPath>${project.basedir}/lib/dse.jar</systemPath>
</dependency>

我真的不知道你为什么叫这个神器"bdp"，但为了这些目的没关系，我也只是用它。

Answer 2

dse.jar 是 DSE 安装的一部分。如果你在 windows 环境中工作，你可以在这里找到它 dse.jar

注册、下载并解压缩以在 lib 文件夹中找到 jar。使用上面的答案将其添加到您的 Maven 项目中。

如何下载dse.jar

how to download dse.jar

java

maven

apache-spark

datastax-enterprise