如何摆脱 grpc api 中对 CallCredentials2 的调用

Question

我正在为 class 项目编写一些代码，该项目将作业发送到 GCP 中的数据处理集群。我最近运行遇到了一个奇怪的错误，我无法解决这个问题。错误如下：

Exception in thread "Thread-5" java.lang.NoClassDefFoundError: io/grpc/CallCredentials2
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:756)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:468)
at java.net.URLClassLoader.access0(URLClassLoader.java:74)
at java.net.URLClassLoader.run(URLClassLoader.java:369)
at java.net.URLClassLoader.run(URLClassLoader.java:363)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:362)
at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)
at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
at com.google.api.gax.grpc.GrpcCallContext.withCredentials(GrpcCallContext.java:160)
at com.google.api.gax.grpc.GrpcCallContext.withCredentials(GrpcCallContext.java:67)
at com.google.api.gax.rpc.ClientContext.create(ClientContext.java:210)
at com.google.cloud.dataproc.v1.stub.GrpcJobControllerStub.create(GrpcJobControllerStub.java:130)
at com.google.cloud.dataproc.v1.stub.JobControllerStubSettings.createStub(JobControllerStubSettings.java:215)
at com.google.cloud.dataproc.v1.JobControllerClient.<init>(JobControllerClient.java:139)
at com.google.cloud.dataproc.v1.JobControllerClient.create(JobControllerClient.java:120)
at com.shayr.searchEngineGUI.searchEngineGUI.constructInvertedIndices(searchEngineGUI.java:509)
at com.shayr.searchEngineGUI.searchEngineGUI.access[=11=](searchEngineGUI.java:501)
at com.shayr.searchEngineGUI.searchEngineGUI.run(searchEngineGUI.java:474)
Caused by: java.lang.ClassNotFoundException: io.grpc.CallCredentials2
    at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
    ... 22 more

我的代码中触发此问题的行是：

JobControllerClient jobControllerClient = JobControllerClient.create(jobControllerSettings);

我最初尝试查找有关 CallCredentials2 的更多信息以找出导致问题的原因，但我找不到任何东西，除了 class 是在对CallCredentials class 并且 CallCredentials2 已贬值。

我对 google api 的了解有些有限，所以我花了一段时间才弄清楚如何解决这个问题。我必须更改项目的依赖项之一，以便将“grpc-api-1.42.1.jar”更改为“grpc-api-1.41.0.jar”因为 api 的 1.41 版本是实现 CallCredentials2 class.

的版本

所以我的项目现在可以按预期运行，但我仍然不确定为什么我的代码会调用折旧的 class，我宁愿尽可能避免这种情况。有人知道为什么会这样吗？我使用的是最近更新的依赖项，所以我不确定为什么要调用折旧的 class。这是在将 grpc 版本更改为 1.41.0 之前我的 pom.xml 文件中列出的依赖项：

<dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-storage</artifactId>
    <version>2.2.0</version>
</dependency>
<dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-datastore</artifactId>
    <version>2.2.0</version>
</dependency>
<dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-dataproc</artifactId>
    <version>2.2.0</version>
</dependency>
<dependency>
    <groupId>com.google.api-client</groupId>
    <artifactId>google-api-client</artifactId>
    <version>1.32.2</version>
</dependency>

Answer 1

使用 mvn dependency:tree 你会发现你的依赖树中混合了 grpc-java 1.41.0 和 1.42.1 版本。 google-cloud-datastore:2.2.0 引入 grpc-api:1.42.1 但其他依赖项引入 grpc 版本 1.40.1.

grpc-java 建议始终使用来自 maven-enforcer 的 requireUpperBoundDeps 来捕获 Maven 静默降级依赖项。

  <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-enforcer-plugin</artifactId>
    <version>1.4.1</version>
    <executions>
      <execution>
        <id>enforce</id>
        <goals>
          <goal>enforce</goal>
        </goals>
        <configuration>
          <rules>
            <requireUpperBoundDeps/>
          </rules>
        </configuration>
      </execution>
    </executions>
  </plugin>

添加它显示很多失败，可以通过在 google-cloud-datastore 之后订购 google-cloud-storage 来修复它们。但是修复降级并不能解决您的问题。

让我们看一下现在的版本（依赖项重新排序）：

$ mvn dependency:tree
[INFO] +- com.google.cloud:google-cloud-datastore:jar:2.2.0:compile
[INFO] |  +- io.grpc:grpc-api:jar:1.42.1:compile
[INFO] |  +- io.grpc:grpc-context:jar:1.42.1:compile
...
[INFO] +- com.google.cloud:google-cloud-dataproc:jar:2.2.0:compile
[INFO] |  +- io.grpc:grpc-stub:jar:1.40.1:compile
[INFO] |  +- io.grpc:grpc-protobuf:jar:1.40.1:compile
[INFO] |  +- io.grpc:grpc-protobuf-lite:jar:1.40.1:compile
[INFO] |  +- io.grpc:grpc-auth:jar:1.40.1:compile
[INFO] |  +- io.grpc:grpc-netty-shaded:jar:1.40.1:compile
[INFO] |  +- io.grpc:grpc-core:jar:1.40.1:compile
[INFO] |  +- io.grpc:grpc-alts:jar:1.40.1:compile
[INFO] |  +- io.grpc:grpc-grpclb:jar:1.40.1:compile
...

版本仍然有问题，因为 io.grpc:grpc-auth 1.40.1 需要 io.grpc:grpc-api 1.40.1，但我们使用的是 1.42.1。 Maven can detect such cases，但不可靠。

您可以通过重新排序依赖项并显式添加一些依赖项来强制升级来解决此问题，但这很乏味。 Google云suggests using a BOM (also in docs for datastore, storage)到select版本一致。 <dependencyManagement> 部分选择要使用的库版本，但实际上并不依赖于它们。使用 BOM 时，您无需明确指定 BOM 中依赖项的版本。

<dependencyManagement>
  <dependencies>
    <dependency>
      <groupId>com.google.cloud</groupId>
      <artifactId>libraries-bom</artifactId>
      <version>24.0.0</version>
      <type>pom</type>
      <scope>import</scope>
    </dependency>
  </dependencies>
</dependencyManagement>
<dependencies>
  <dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-datastore</artifactId>
  </dependency>
  <dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-storage</artifactId>
  </dependency>
  <dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-dataproc</artifactId>
  </dependency>
  <dependency><!-- not part of the BOM -->
    <groupId>com.google.api-client</groupId>
    <artifactId>google-api-client</artifactId>
    <version>1.32.2</version>
  </dependency>
</dependencies>

现在我们可以看到一致的版本：

$ mvn dependency:tree
...
[INFO] +- com.google.cloud:google-cloud-datastore:jar:2.1.3:compile
[INFO] |  +- io.grpc:grpc-api:jar:1.41.0:compile
[INFO] |  +- io.grpc:grpc-context:jar:1.41.0:compile
...
[INFO] +- com.google.cloud:google-cloud-dataproc:jar:2.2.2:compile
[INFO] |  +- io.grpc:grpc-stub:jar:1.41.0:compile
[INFO] |  +- io.grpc:grpc-protobuf:jar:1.41.0:compile
[INFO] |  +- io.grpc:grpc-protobuf-lite:jar:1.41.0:compile
[INFO] |  +- io.grpc:grpc-alts:jar:1.41.0:runtime
[INFO] |  +- io.grpc:grpc-grpclb:jar:1.41.0:runtime
[INFO] |  +- io.grpc:grpc-auth:jar:1.41.0:runtime
[INFO] |  +- io.grpc:grpc-netty-shaded:jar:1.41.0:runtime
[INFO] |  +- io.grpc:grpc-core:jar:1.41.0:runtime
...

如何摆脱 grpc api 中对 CallCredentials2 的调用

How to get rid of call to CallCredentials2 in grpc api

google-cloud-platform

grpc

google-cloud-dataproc

grpc-java