Saya menggunakan SQLAlchemy di Python3 untuk menyimpan kerangka data panda ke tabel PostreSQL. Hal-hal berfungsi hingga 78 juta baris untuk disimpan, hal-hal berfungsi dengan 20 juta baris tetapi

Got 75032111 rows.

Total time taken 11222.68 s.
Finished at 2018-05-04 06:07:34.
Killed

Di mana penyimpanan terbunuh. Saya menggunakan perintah SQLAlechemy df.to_sql(dbName, engine).

Apakah ada batasan untuk menyimpan data ke database PSQL dengan SQLAlchemy di Python? Apa cara yang lebih disukai untuk menyimpan tabel besar, beberapa perintah sinkronisasi untuk melanjutkan penyimpanan jika ada yang dicegat karena ukurannya yang besar?

0
hhh 4 Mei 2018, 09:16

1 menjawab

Jawaban Terbaik

Saya belum pernah mencapai batas ini sebelumnya, tetapi yang dapat Anda lakukan adalah memasukkan secara berkelompok menggunakan:

df.to_sql(dbName, engine, chunksize=100000)  # alter chunksize to your liking
1
Scratch'N'Purr 4 Mei 2018, 06:22