如何使用 ADF 在数据块中安装 jar
How to install a jar in databricks using ADF
我们可以使用 UI 方法将 jar 文件安装到特定集群。但是我们要求将它安装在工作区中的所有按需集群上。
我们正在使用下面的 shell 脚本将 jar 文件下载到 DBFS。不确定我们如何使用全局初始化脚本 refer/install 在所有集群中使用这个 jar
curl https://repo1.maven.org/maven2/com/databricks/spark-xml_2.12/0.12.0/spark-xml_2.12-0.12.0.jar >/dbfs/FileStore/jars/maven/com/databricks/spark_xml_2_12_0_12_0.jar
任何帮助将不胜感激！！
有一个替代解决方案，用于将 jar 库添加到作业集群，该作业集群在 运行 我们的作业时从 Azure 数据工厂调用。
在 ADF 中，在调用笔记本时，我们可以选择在 DBFS 中包含 jar 目录，或者我们可以提供 Maven 坐标。
ADF SETTINGS
在全局初始化脚本中，您可以将此文件下载到 /databricks/jars/ 目录中 - 然后它会被集群拾取
我们可以使用 UI 方法将 jar 文件安装到特定集群。但是我们要求将它安装在工作区中的所有按需集群上。 我们正在使用下面的 shell 脚本将 jar 文件下载到 DBFS。不确定我们如何使用全局初始化脚本 refer/install 在所有集群中使用这个 jar
curl https://repo1.maven.org/maven2/com/databricks/spark-xml_2.12/0.12.0/spark-xml_2.12-0.12.0.jar >/dbfs/FileStore/jars/maven/com/databricks/spark_xml_2_12_0_12_0.jar
任何帮助将不胜感激！！
有一个替代解决方案，用于将 jar 库添加到作业集群，该作业集群在 运行 我们的作业时从 Azure 数据工厂调用。
在 ADF 中，在调用笔记本时，我们可以选择在 DBFS 中包含 jar 目录，或者我们可以提供 Maven 坐标。
ADF SETTINGS
在全局初始化脚本中，您可以将此文件下载到 /databricks/jars/ 目录中 - 然后它会被集群拾取