如何在飞艇中添加一个罐子？

Question

如何在 Zeppelin 中为 %hive 解释器添加一个 jar？

我试过了

%z.dep('');
add jar <jar path>

还有zeppelin hive interpreter throws ClassNotFoundException

通过节俭异常添加到 ./interpreter/hive/，而 add jar 说找不到文件。

怎么做？我正在尝试通过 Amazon 添加 jsonserde.jar 来解析 DynamoDB 导入。

Answer 1

推荐的方法是使用 Zeppelin 的 Dependency Management

它可以添加 jar 文件或 maven 工件。

依赖 jar 将被下载到 local-repo。

NOTE: If the jar file is compiled from source, when you compile again, it will NOT be synchronised automatically(download again). You need go to interpreter setting, click edit and OK will trigger another download to local-repo.

NOTE: If you use one scala version first, and compiled again with another version. It will report Exception in thread “main” java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror. remove already downloaded jar with rm -rf local-repo/*

NOTE: z.dep is deprecated.

Answer 2

我有 0.5.6 版，以下工作正常：

%hive
add jar /home/hadoop/jsonserde.jar

Answer 3

在 Zeppelin 0 上更新。8.x

您现在可以使用 %dep 或 %spark.dep（如果使用 Spark）加载外部依赖项或 jar。文档在 zeppline 网站上：Dynamic Dependency Loading

%dep z.load("/path/to/your/packages.jar")

或

%spark.dep
z.reset() // clean up previously added artifact and repository

// add maven repository
z.addRepo("RepoName").url("RepoURL")

// add maven snapshot repository
z.addRepo("RepoName").url("RepoURL").snapshot()

// add credentials for private maven repository
z.addRepo("RepoName").url("RepoURL").username("username").password("password")

Answer 4

示例，在 Zeppelin 0.8.1 中测试：

%dep
z.addRepo("Spark Packages Repo").url("http://dl.bintray.com/spark-packages/maven")
z.addRepo("OSS SNAPSHOTS").url("https://oss.sonatype.org/content/repositories/snapshots")
z.load("org.zouzias:spark-lucenerdd_2.11:0.3.7")

如何在飞艇中添加一个罐子？

How to add a jar in zeppelin?

json

jar

hive

amazon-emr

apache-zeppelin

在 Zeppelin 0 上更新。8.x