Masalah

Saya mencoba menyimpan bingkai data sebagai file parket di Databricks, mendapatkan ArrowTypeError.

Versi Waktu Proses Databricks: 7.6 ML (termasuk Apache Spark 3.0.1, Scala 2.12)

Log Jejak

ArrowTypeError: ('Did not pass numpy.dtype object', 'Conversion failed for column inv_yr with type int32')
1
Nagaraju Budigam 12 Mei 2021, 14:41

1 menjawab

Jawaban Terbaik

Masalah yang Anda hadapi berasal dari fakta bahwa Anda menggunakan roda pyarrow lama dengan rilis numpy 1.20 terbaru. Anda mengalami bug "PyArray_DescrCheck tidak berfungsi lagi jika perpustakaan konsumen dikompilasi dengan yang lebih lama Versi NumPy ". Perbarui versi pyarrow Anda atau turunkan versi ke numpy<1.20.

3
Uwe L. Korn 12 Mei 2021, 12:05