Saya memiliki database pengembangan Postgres kecil yang berjalan di Amazon RDS, dan saya menjalankan K8. Sejauh yang saya tahu, hampir tidak ada lalu lintas. Saya ingin mengaktifkan change capture, saya telah mengaktifkan rds.logical_replication, memulai instance Debezium, dan topik muncul di Kafka, dan semuanya tampak baik-baik saja.

Setelah beberapa jam, ruang disk kosong mulai berkurang: masukkan deskripsi gambar di sini postgresql amazon-rds debezium

0
Frank Lee 22 Desember 2020, 16:05

3 jawaban

Jawaban Terbaik

Anda perlu secara berkala menghasilkan beberapa gerakan di database Anda (misalnya, melakukan pembaruan pada catatan apa pun).

Debezium menyediakan fitur yang disebut detak jantung untuk melakukan jenis operasi ini.

Detak jantung dapat dikonfigurasi di konektor sebagai berikut:

"heartbeat.interval.ms" : "300000", "heartbeat.action.query": "update my_table SET date_column = now();"

Anda dapat menemukan informasi lebih lanjut di dokumentasi resmi:

https://debezium.io/documentation/reference/connectors/postgresql.html#postgresql-wal-disk-space

1
Yuri.stpsa 29 Desember 2020, 21:00

Slot replikasi adalah masalahnya. Ini menandai posisi di WAL, dan PostgreSQL tidak akan menghapus segmen WAL yang lebih baru dari itu. File-file tersebut berada di subdirektori pg_wal dari direktori data.

Menjatuhkan slot replikasi dan menjalankan CHECKPOINT akan menghapus file dan ruang kosong.

Penyebab masalahnya pasti kesalahan konfigurasi Debrezium: tidak menggunakan perubahan dan memindahkan slot replikasi ke depan. Perbaiki masalah itu dan Anda baik-baik saja.

1
Laurenz Albe 22 Desember 2020, 15:07

Oke, saya pikir saya sudah mengetahuinya. Ada database 'tersembunyi' lain di Amazon RDS, yang memiliki perubahan, tetapi perubahan yang tidak saya buat dan dapat saya lihat, jadi Debezium juga tidak dapat mengambilnya. Jika mengubah basis data saya yang dipantau, itu akan menunjukkan perubahan itu dan dalam proses menyiram buffer dan merebut kembali ruang itu. Jadi kurangnya perubahan adalah alasan mengapa itu terisi. Tidak tahu apakah ada solusi yang bagus untuk ini, tapi setidaknya saya bisa bekerja dengan ini.

0
Frank Lee 23 Desember 2020, 17:07