Apache Spark 的结构化流媒体 Google PubSub
Apache Spark’s Structured Streaming with Google PubSub
我正在使用 Spark Dstream 从 Google PubSub 中提取和处理数据。
我正在寻找一种转移到结构化流媒体但仍在使用 Pub/Sub 的方法。
另外，我要提一下，我的消息是 Snappy 压缩的 Pub/Sub。
我发现 this 问题声称不支持将 Pub/Sub 用于结构化流式传输。
有人遇到过这个问题吗？是否可以实现自定义接收器以从 Pub/Sub
读取数据
谢谢
您引用的 feature request 仍然准确：Cloud Pub/Sub 没有偏移量的概念来跟踪您的阅读位置，因此不支持 Cloud Pub/Sub 的结构化流式传输.
我正在使用 Spark Dstream 从 Google PubSub 中提取和处理数据。
我正在寻找一种转移到结构化流媒体但仍在使用 Pub/Sub 的方法。
另外，我要提一下，我的消息是 Snappy 压缩的 Pub/Sub。
我发现 this 问题声称不支持将 Pub/Sub 用于结构化流式传输。
有人遇到过这个问题吗？是否可以实现自定义接收器以从 Pub/Sub
读取数据谢谢
您引用的 feature request 仍然准确：Cloud Pub/Sub 没有偏移量的概念来跟踪您的阅读位置，因此不支持 Cloud Pub/Sub 的结构化流式传输.