从 pub/sub 流式传输到大查询 python 时出错
Error streaming from pub/sub into big query python
我在创建将 pub/sub 源连接到大查询接收器的 dataflowRunner 作业时遇到问题，方法是插入以下两个：
apache_beam.io.gcp.pubsub.PubSubSource
apache_beam.io.gcp.bigquery.BigQuerySink
在 github 上的 beam/sdks/python/apache_beam/examples/streaming_wordcount.py (https://github.com/apache/beam/blob/master/sdks/python/apache_beam/examples/streaming_wordcount.py) 示例中分别进入第 59 行和第 74 行。删除第 61-70 行并指定正确的 pub/sub 和 bigquery 参数后，脚本运行时没有错误，无需构建管道。
旁注：脚本提到流式管道支持在 Python 中不可用。但是，在 beam 文档中提到 apache_beam.io.gcp.pubsub.PubSubSource is only available for streaming
（"apache_beam.io.gcp.pubsub module" 标题下的第一个句子：https://beam.apache.org/documentation/sdks/pydoc/2.0.0/apache_beam.io.gcp.html#module-apache_beam.io.gcp.pubsub）
您暂时无法在 Python Dataflow 上进行流式传输。
监视此更改日志以找出它发生的日期：
（很快！）
我在创建将 pub/sub 源连接到大查询接收器的 dataflowRunner 作业时遇到问题，方法是插入以下两个：
apache_beam.io.gcp.pubsub.PubSubSource
apache_beam.io.gcp.bigquery.BigQuerySink
在 github 上的 beam/sdks/python/apache_beam/examples/streaming_wordcount.py (https://github.com/apache/beam/blob/master/sdks/python/apache_beam/examples/streaming_wordcount.py) 示例中分别进入第 59 行和第 74 行。删除第 61-70 行并指定正确的 pub/sub 和 bigquery 参数后，脚本运行时没有错误，无需构建管道。
旁注：脚本提到流式管道支持在 Python 中不可用。但是，在 beam 文档中提到 apache_beam.io.gcp.pubsub.PubSubSource is only available for streaming （"apache_beam.io.gcp.pubsub module" 标题下的第一个句子：https://beam.apache.org/documentation/sdks/pydoc/2.0.0/apache_beam.io.gcp.html#module-apache_beam.io.gcp.pubsub）
您暂时无法在 Python Dataflow 上进行流式传输。
监视此更改日志以找出它发生的日期：
（很快！）