Apache Beam - BigQueryIO 读取投影
Apache Beam - BigQueryIO read Projection
我有一个从 BigQuery table 读取的数据流管道。但是,在读取数据时,除了使用 read(SerializableFunction) or the readTableRows() 方法读取所有记录之外别无选择。
我想知道,在使用这些方法时,是否可以选择提供类似列的投影(类似于 HBaseIO Scan addColumn() 过滤器)。
我知道从 BigQuery 加载数据时可以选择执行查询(使用 readTableRows().fromQuery()),但我想知道在 HBaseIO 中是否有类似的选项来进行投影。
截至目前,fromQuery() 是唯一的选择,但将来可能会改变。
我有一个从 BigQuery table 读取的数据流管道。但是,在读取数据时,除了使用 read(SerializableFunction) or the readTableRows() 方法读取所有记录之外别无选择。 我想知道,在使用这些方法时,是否可以选择提供类似列的投影(类似于 HBaseIO Scan addColumn() 过滤器)。
我知道从 BigQuery 加载数据时可以选择执行查询(使用 readTableRows().fromQuery()),但我想知道在 HBaseIO 中是否有类似的选项来进行投影。
截至目前,fromQuery() 是唯一的选择,但将来可能会改变。