Apakah mungkin menjalankan pengelola tugas Flink di simpul Tugas AWS EMR? Jika ya, apa bedanya dengan menjalankan Pengelola Tugas pada simpul inti?

0
justlikethat 1 November 2020, 07:59

1 menjawab

Jawaban Terbaik

Ya, Anda harus dapat menjalankan TM pada node tugas. Satu-satunya perbedaan yang saya harapkan adalah bahwa EMR tidak akan menjadwalkan Flink Job Manager (JM) pada node tugas ("Amazon EMR ... memungkinkan proses master aplikasi berjalan hanya pada node inti").

Jika alur kerja Anda memiliki sumber yang membaca dari HDFS dan/atau sink yang menulis ke HDFS, maka subtugas dari operator ini yang berjalan pada node tugas mungkin membutuhkan waktu lebih lama, karena node tugas tidak menjalankan daemon Hadoop Data Node , dan dengan demikian semua pembacaan/penulisan dilakukan melalui jaringan.

1
kkrugler 1 November 2020, 20:18