尝试使用 Kafka-Connect-API 从 oracle 将数据加载到 postgres 时插入错误

Question

我正在尝试使用 kafka jdbc connect API

将数据从 oracle 传输到 postgres

我不想在 postgres 上自动创建一个新的 table。所以我在创建连接器之前在 postgres 创建了自己的 table。

这些是我的配置：-

来源：-(Ora XE 11g)

curl -i -X PUT http://localhost:8083/connectors/ora_1/config
    -H "Content-Type: application/json"
    -d '{ 
        "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector", 
        "connection.url":"jdbc:oracle:thin:@//localhost:1521/db", 
        "connection.user":"user", 
        "connection.password":"passwd", 
        "mode":"incrementing", 
        "incrementing.column.name": "<column_name>", 
        "topic.prefix":"ora_", 
        "table.whitelist":"<table_name>", 
        "poll.interval.ms":10000 
        }'

目标：- (Postgres)

curl -X PUT http://localhost:8083/connectors/pg_1/config \
    -H "Content-Type: application/json" \
    -d '{
        "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
        "connection.url":"jdbc:postgresql://localhost:5432/db",
        "connection.user":"user",
        "connection.password":"passwd",
        "tasks.max" : "1",
        "topics":"<topic_name>",
        "insert.mode":"insert",
        "table.name.format":"<table_name>"
    }'

If we see in the image 在插入语句中，列在双引号内，这导致我出现插入错误。当我尝试通过在 postgres 中用双引号括起的列创建 table 时，它工作正常。

所以，任何人都可以帮助我如何避免这些列的双引号，因为我不想自动创建 table 并且不想通过定义它的列来创建 table双引号.....

Answer 1

我在源和接收器配置中使用了 "quote.sql.identifiers":"never"。现在一切正常。

你可以在这里看看：- https://github.com/confluentinc/kafka-connect-jdbc/issues/455

尝试使用 Kafka-Connect-API 从 oracle 将数据加载到 postgres 时插入错误

Insert Error while trying to load data to postgres from oracle using Kafka-Connect-API

jdbc

apache-kafka

apache-kafka-connect

confluent-platform