Tensorflow Extension BigQuery 作为 ExampleGen 的问题
Issue on Tensorflow Extension BigQuery as ExampleGen
我正在学习使用 TensorFlow 扩展构建机器学习管道，我按照教程进行操作，现在我想构建自己的管道。当我直接从 BigQuery 提取数据时出现错误。请提前告知并感谢！
代码：
from tfx.components.example_gen.big_query_example_gen.component import BigQueryExampleGen
query = """
SELECT * FROM `<project_id>.<database>.<table_name>`
"""
example_gen = BigQueryExampleGen(query=query)
错误：
RuntimeError: Missing executing project information. Please use the --project command line option to specify it.
由于 bigquery 客户端初始化的参数在我添加 Google Applicaton Credential 后仍不受支持，因此我一直在努力使用 CsvExampleGen。
我不确定您是否已经解决了它，但是要使用 BigQuery 作为输入，您必须像这样设置 --project-id 标志：
example_gen = components.BigQueryExampleGen(query='SELECT * except(day) FROM `gofind-datalake.data.temp_dist` where rand() < 2800/30713393 limit 3000')
context.run(example_gen, beam_pipeline_args=["--project=gofind-datalake"])
我正在学习使用 TensorFlow 扩展构建机器学习管道，我按照教程进行操作，现在我想构建自己的管道。当我直接从 BigQuery 提取数据时出现错误。请提前告知并感谢！
代码：
from tfx.components.example_gen.big_query_example_gen.component import BigQueryExampleGen
query = """
SELECT * FROM `<project_id>.<database>.<table_name>`
"""
example_gen = BigQueryExampleGen(query=query)
错误：
RuntimeError: Missing executing project information. Please use the --project command line option to specify it.
由于 bigquery 客户端初始化的参数在我添加 Google Applicaton Credential 后仍不受支持，因此我一直在努力使用 CsvExampleGen。
我不确定您是否已经解决了它，但是要使用 BigQuery 作为输入，您必须像这样设置 --project-id 标志：
example_gen = components.BigQueryExampleGen(query='SELECT * except(day) FROM `gofind-datalake.data.temp_dist` where rand() < 2800/30713393 limit 3000')
context.run(example_gen, beam_pipeline_args=["--project=gofind-datalake"])