如何在 bluemix spark 上向 python notebook 添加 jar?

how to add a jar to python notebook on bluemix spark?

我想将 spark jdbc 与 python 一起使用。第一步是添加一个罐子:

%AddJar http://central.maven.org/maven2/org/apache/hive/hive-jdbc/2.0.0/hive-jdbc-2.0.0.jar -f

然而,响应:

ERROR: Line magic function `%AddJar` not found.

如何在 python 脚本中添加 JDBC 个 jar 文件?

我认为这在 Notebook 的 Python 内核中是不可能的,因为 %Addjar 是 notebook 中的 scala 内核魔术函数。

您需要依赖服务提供商将此 jar 添加到 python 内核。

您可以尝试的另一件事是 sc.addjar(),但不确定它是如何工作的。

谢谢, 查尔斯.

目前,这仅在 python 笔记本上是不可能的;但它被理解为一个重要的要求。在支持此功能之前,您可以从 python notebook 的同一个 spark 服务实例创建一个 scala notebook 并从那里 %AddJar。然后同一 spark 服务实例的所有 python 个笔记本都可以访问它。对于从 scala nb 添加 jar 时处于活动状态的 py 笔记本,您将需要重新启动它们的内核。

请注意,这适用于 Jupyter 4+ 上的笔记本实例,但不一定适用于更早的 IPython 笔记本实例;从笔记本的“帮助”->“关于”菜单检查版本。最近创建的任何新笔记本实例都将在 Jupyter 4+ 上。

你可以试试这个:

spark.sparkContext.addFile("filename")