将 Scalapb 与 spark 结构化流和 java 生成的 protobuf 类 结合使用

Question

我正在进行的项目处于 planning/prototyping 阶段，我们希望使用 Kafka 中的 protobuf 编码消息和结构化流将我们的数据流式传输到 spark 3。我们已经使用 spark 流（与结构化流）进行了原型设计，我们可以在其中指定 Kafka 将使用的 serde classes，但对于结构化流，它显然是不同的。

从我目前所读的内容来看，最干净的方法似乎是使用 scalapb。它的文档看起来非常简单（谢谢！）但是我无法确定它是否可以与现有生成的 Java protobuf classes 一起使用，或者我是否必须生成相同的 Scala 版本。 proto 文件也是如此。

使用文档@ https://scalapb.github.io/docs/sparksql 中的示例，Person class 可以 Java vs Scala 吗？

Answer 1

SparkSQL-ScalaPB 仅适用于 ScalaPB 生成的代码。