使用 GCP 数据融合将数据从 MySQL 复制到 BigQuery - 'Date' 数据类型出现问题
Replicating data from MySQL to BigQuery using GCP Data Fusion - Getting issue with 'Date' datatype
我想将 GCP Compute Engine 中保存的 Mysql table 复制到 GC BigQuery。
我参考了这份文件：https://cloud.google.com/data-fusion/docs/tutorials/replicating-data/mysql-to-bigquery。
所以我决定使用 GCP Data Fusion 来完成这项工作。
一切正常，数据已复制到 Bigquery 中。
所以我正在测试此复制的不同数据类型支持。
我在此复制管道中遇到问题的地方，
因此，每当我尝试将 'DATE' 数据类型列用于数据融合复制时，整个 table（包含 'DATE' 列）都不会出现在 BigQuery
它创建了 table，其模式与源相同，并且 'Date' 数据类型也出现在 Bigquery 中，并且我使用了 BigQuery 支持的相同日期格式。
我还查看了数据融合日志，它显示管道正在将数据完美地加载到 BigQuery 中，还捕获了从源 Mysql 数据库添加到 Mysql Table 中的新行还有 inserts 和 updates。
但是不知何故，行没有进入 Bigquery。
有没有人使用数据融合复制与 'Date' 列数据类型？
这是 BigQuery 或 Data Fusion 的问题吗？
我是否需要在 BigQuery 中提供任何手动设置？
任何人都可以提供意见吗？
我使用了以下架构，其中包含日期字段。
create table tutorials_tbl(tutorial_id INT NOT NULL AUTO_INCREMENT, tutorial_title VARCHAR(100) NOT NULL, tutorial_author VARCHAR(40) NOT NULL, submission_date DATE, PRIMARY KEY ( tutorial_id ));
当我 运行 复制管道时，我看到 BQ table 是使用以下模式创建的：
我也看到了 table 中的事件：
能否分享输入 table 架构？您还可以检查 BQ table 下的 Job History 和 Query History 选项卡以查看是否有任何错误。
我会将此问题标记为已解决。
由于问题出在数据融合上，最新版本 6.4.1 现在在 BigQuery 中复制时支持 Datatime 数据类型。
我现在正在接收正确的日期和日期时间数据。
感谢大家的帮助:)
我想将 GCP Compute Engine 中保存的 Mysql table 复制到 GC BigQuery。 我参考了这份文件：https://cloud.google.com/data-fusion/docs/tutorials/replicating-data/mysql-to-bigquery。 所以我决定使用 GCP Data Fusion 来完成这项工作。
一切正常，数据已复制到 Bigquery 中。 所以我正在测试此复制的不同数据类型支持。
我在此复制管道中遇到问题的地方， 因此，每当我尝试将 'DATE' 数据类型列用于数据融合复制时，整个 table（包含 'DATE' 列）都不会出现在 BigQuery
它创建了 table，其模式与源相同，并且 'Date' 数据类型也出现在 Bigquery 中，并且我使用了 BigQuery 支持的相同日期格式。
我还查看了数据融合日志，它显示管道正在将数据完美地加载到 BigQuery 中，还捕获了从源 Mysql 数据库添加到 Mysql Table 中的新行还有 inserts 和 updates。 但是不知何故，行没有进入 Bigquery。
有没有人使用数据融合复制与 'Date' 列数据类型？ 这是 BigQuery 或 Data Fusion 的问题吗？ 我是否需要在 BigQuery 中提供任何手动设置？ 任何人都可以提供意见吗？
我使用了以下架构，其中包含日期字段。
create table tutorials_tbl(tutorial_id INT NOT NULL AUTO_INCREMENT, tutorial_title VARCHAR(100) NOT NULL, tutorial_author VARCHAR(40) NOT NULL, submission_date DATE, PRIMARY KEY ( tutorial_id ));
当我 运行 复制管道时，我看到 BQ table 是使用以下模式创建的：
我也看到了 table 中的事件：
能否分享输入 table 架构？您还可以检查 BQ table 下的 Job History 和 Query History 选项卡以查看是否有任何错误。
我会将此问题标记为已解决。 由于问题出在数据融合上，最新版本 6.4.1 现在在 BigQuery 中复制时支持 Datatime 数据类型。 我现在正在接收正确的日期和日期时间数据。
感谢大家的帮助:)