如何在 bluemix spark 上向 python notebook 添加 jar?
how to add a jar to python notebook on bluemix spark?
我想将 spark jdbc 与 python 一起使用。第一步是添加一个罐子:
%AddJar http://central.maven.org/maven2/org/apache/hive/hive-jdbc/2.0.0/hive-jdbc-2.0.0.jar -f
然而,响应:
ERROR: Line magic function `%AddJar` not found.
如何在 python 脚本中添加 JDBC 个 jar 文件?
我认为这在 Notebook 的 Python 内核中是不可能的,因为 %Addjar 是 notebook 中的 scala 内核魔术函数。
您需要依赖服务提供商将此 jar 添加到 python 内核。
您可以尝试的另一件事是 sc.addjar(),但不确定它是如何工作的。
谢谢,
查尔斯.
目前,这仅在 python 笔记本上是不可能的;但它被理解为一个重要的要求。在支持此功能之前,您可以从 python notebook 的同一个 spark 服务实例创建一个 scala notebook 并从那里 %AddJar
。然后同一 spark 服务实例的所有 python 个笔记本都可以访问它。对于从 scala nb 添加 jar 时处于活动状态的 py 笔记本,您将需要重新启动它们的内核。
请注意,这适用于 Jupyter 4+ 上的笔记本实例,但不一定适用于更早的 IPython 笔记本实例;从笔记本的“帮助”->“关于”菜单检查版本。最近创建的任何新笔记本实例都将在 Jupyter 4+ 上。
你可以试试这个:
spark.sparkContext.addFile("filename")
我想将 spark jdbc 与 python 一起使用。第一步是添加一个罐子:
%AddJar http://central.maven.org/maven2/org/apache/hive/hive-jdbc/2.0.0/hive-jdbc-2.0.0.jar -f
然而,响应:
ERROR: Line magic function `%AddJar` not found.
如何在 python 脚本中添加 JDBC 个 jar 文件?
我认为这在 Notebook 的 Python 内核中是不可能的,因为 %Addjar 是 notebook 中的 scala 内核魔术函数。
您需要依赖服务提供商将此 jar 添加到 python 内核。
您可以尝试的另一件事是 sc.addjar(),但不确定它是如何工作的。
谢谢, 查尔斯.
目前,这仅在 python 笔记本上是不可能的;但它被理解为一个重要的要求。在支持此功能之前,您可以从 python notebook 的同一个 spark 服务实例创建一个 scala notebook 并从那里 %AddJar
。然后同一 spark 服务实例的所有 python 个笔记本都可以访问它。对于从 scala nb 添加 jar 时处于活动状态的 py 笔记本,您将需要重新启动它们的内核。
请注意,这适用于 Jupyter 4+ 上的笔记本实例,但不一定适用于更早的 IPython 笔记本实例;从笔记本的“帮助”->“关于”菜单检查版本。最近创建的任何新笔记本实例都将在 Jupyter 4+ 上。
你可以试试这个:
spark.sparkContext.addFile("filename")