将 JDBC 驱动程序添加到现有 Spark 代码的 AWS Glue
Adding JDBC driver to AWS Glue for existing Spark code
我正在尝试 运行 AWS Glue 上的现有 Spark (Scala) 代码。
此代码使用 spark.read.option("jdbc")，我一直在使用 spark.driver.extraClassPath 选项将 JDBC 驱动程序添加到 Spark 类路径。
假设我可以先使用 bootstrap 操作将驱动程序从 S3 复制到实例，这在本地和 EMR 上都可以正常工作。
但是 Glue 上的等价物是什么？如果我将驱动程序添加到“依赖 JAR”选项，它不起作用并且我得到“没有合适的驱动程序”错误，大概是因为 JAR 必须对 Spark 自己的类加载器可见。
编辑您的作业，在屏幕末尾，您可以看到库选项。
并且需要一些选项，见documentation的最后一部分。
我正在尝试 运行 AWS Glue 上的现有 Spark (Scala) 代码。
此代码使用 spark.read.option("jdbc")，我一直在使用 spark.driver.extraClassPath 选项将 JDBC 驱动程序添加到 Spark 类路径。
假设我可以先使用 bootstrap 操作将驱动程序从 S3 复制到实例，这在本地和 EMR 上都可以正常工作。
但是 Glue 上的等价物是什么？如果我将驱动程序添加到“依赖 JAR”选项，它不起作用并且我得到“没有合适的驱动程序”错误，大概是因为 JAR 必须对 Spark 自己的类加载器可见。
编辑您的作业，在屏幕末尾，您可以看到库选项。
并且需要一些选项，见documentation的最后一部分。