插入Hudi时SdkInterruptedException导致消费记录出错Table
Error consuming records caused by SdkInterruptedException when inserting into Hudi Table
我有一个从迁移创建的 Hudi table，所以它有数十亿行。迁移时没有问题，但是当我开始流式传输以开始向此 table 写入新数据时，出现了这些错误：
ERROR - error producing records (org.apache.hudi.common.util.queue.BoundedInMemoryExecutor.lambda$null[=11=](BoundedInMemoryExecutor.java:94)):94
org.apache.parquet.io.ParquetDecodingException: Can not read value at 1 in block 0 in file s3://lake/tables/hudi/usage_fact_cpaas_by_month/organization_id=AAABBBCCC/year=2020/month=12/5235f14e-85b4-488e-99f4-9eb416532795-1_3-134-785_20201216202753.parquet
...
[2020-12-29 16:45:18,284] ERROR - error reading records from queue (org.apache.hudi.common.util.queue.BoundedInMemoryQueue.readNextRecord(BoundedInMemoryQueue.java:201)):201
java.lang.InterruptedException
我对另一个迁移的 table 做了同样的事情，没有问题。两个 table 之间的唯一区别是分区。
执行在 AWS 上进行并使用 Hudi 0.5.3。
大家遇到过这个问题吗？不确定这是 Hudi 还是 AWS 的问题。
我查看了执行程序日志，发现存在架构错误。
我有一个从迁移创建的 Hudi table，所以它有数十亿行。迁移时没有问题，但是当我开始流式传输以开始向此 table 写入新数据时，出现了这些错误：
ERROR - error producing records (org.apache.hudi.common.util.queue.BoundedInMemoryExecutor.lambda$null[=11=](BoundedInMemoryExecutor.java:94)):94
org.apache.parquet.io.ParquetDecodingException: Can not read value at 1 in block 0 in file s3://lake/tables/hudi/usage_fact_cpaas_by_month/organization_id=AAABBBCCC/year=2020/month=12/5235f14e-85b4-488e-99f4-9eb416532795-1_3-134-785_20201216202753.parquet
...
[2020-12-29 16:45:18,284] ERROR - error reading records from queue (org.apache.hudi.common.util.queue.BoundedInMemoryQueue.readNextRecord(BoundedInMemoryQueue.java:201)):201
java.lang.InterruptedException
我对另一个迁移的 table 做了同样的事情，没有问题。两个 table 之间的唯一区别是分区。
执行在 AWS 上进行并使用 Hudi 0.5.3。
大家遇到过这个问题吗？不确定这是 Hudi 还是 AWS 的问题。
我查看了执行程序日志，发现存在架构错误。