Ini terkait dengan topik yang disebutkan di utas di bawah ini

JDBC Sink Connector -memasukkan ke beberapa tabel dari beberapa topik menggunakan kafka-connect

Saya tahu ini posting yang sedikit lebih tua. Tapi pertanyaan saya juga seputar topik yang sama. Perbedaannya adalah saya ingin menghapus akhiran dari nama topik dan meneruskan string yang tersisa sebagai nama tabel di konektor wastafel. Bagaimana saya bisa mencapai itu?

Jika menggunakan SMT, dapatkah Anda membantu untuk mencapainya.

Nama Topik: Sumber1-Emp,Sumber1-Perusahaan

Nama Tabel: Emp, Perusahaan

Pemuatan data perlu terjadi dari beberapa topik ke beberapa tabel menggunakan konektor sink tunggal.

Bisakah Anda membantu saya untuk mengimplementasikannya.

MUS

0
user3004115 2 Juli 2020, 16:41

1 menjawab

Jawaban Terbaik

Anda benar dalam asumsi Anda bahwa ini dapat dilakukan dengan Transformasi Pesan Tunggal (SMT). Berikut ini contohnya:

curl -X PUT http://localhost:8083/connectors/sink-postgres-00/config \
    -H "Content-Type: application/json" \
    -d '{
        "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
        "connection.url": "jdbc:postgresql://postgres:5432/",
        "connection.user": "postgres",
        "connection.password": "postgres",
        "tasks.max": "1",
        "topics": "Source1-Emp,Source1-Company",
        "auto.create": "true",
        "auto.evolve":"true",
        "transforms":"dropPrefix",
        "transforms.dropPrefix.type":"org.apache.kafka.connect.transforms.RegexRouter",
        "transforms.dropPrefix.regex":"Source1-(.*)$",
        "transforms.dropPrefix.replacement":"$1"
    }'
1
Robin Moffatt 2 Juli 2020, 14:07