雪花 table 未填充，即使管道是 运行

Question

我正在使用 Snowflake 的 Kafka 连接器将一些数据导入 table。我可以在舞台上看到文件（当我 运行 LIST @STAGE_NAME; 时）。根据SYSTEM$PIPE_STATUS，管道是运行ning。不过，我在复制历史记录中没有看到任何内容。但是，当我刷新管道时，我看到 table 填充了一点。

请问有人是什么原因造成的吗？

以下是连接器配置，以防有帮助（没什么特别的）：

{
    "buffer.count.records": "2",
    "buffer.flush.time": "10",
    "buffer.size.bytes": "1",
    "input.data.format": "JSON",
    "key.converter": "org.apache.kafka.connect.storage.StringConverter",
    "name": "mysnowflakesink",
    "snowflake.database.name": "MY_DB",
    "snowflake.private.key": "abc",
    "snowflake.schema.name": "STREAM_DATA",
    "snowflake.topic2table.map": "customers:CUSTOMERS_TEST",
    "snowflake.url.name": "xyz.snowflakecomputing.com:443",
    "snowflake.user.name": "my_user",
    "tasks.max": "8",
    "topics": "customers",
    "value.converter": "com.snowflake.kafka.connector.records.SnowflakeJsonConverter"
}

Answer 1

原来是我的错误。即，我以编程方式使用连接器，而我没有做的是调用 preCommit 方法。在引擎盖下，它正在使管道用于摄取数据。