Saya punya masalah di pyspark. Saya telah mengeksekusi hanya baris-baris ini di Spark menggunakan pyspark seperti yang diberikan di bawah ini, ini memberi saya kesalahan berikut,

>>> text_file=sc.textFile("/Users/Aroon/spark/Scala/word")

Traceback (panggilan terakhir terakhir): File "", baris 1, di NameError: nama 'sc' tidak ditentukan.

1
Yasir 23 Juni 2016, 01:57
Kesalahan mengatakan 'sc' tidak didefinisikan yang cukup jelas. Mungkin Anda bisa menunjukkan lebih banyak kode Anda sehingga kami dapat membantu Anda.
 – 
Kenny Chan
23 Juni 2016, 04:52

1 menjawab

Jawaban Terbaik

Pesan kesalahan cukup jelas menyatakan bahwa sparkContext tidak dibuat pada variabel sc. Ini akan secara otomatis membuat jika Anda berada di pyspark Shell. Karena tidak, saya memperkirakan Anda menjalankannya melalui pengiriman percikan. Dalam hal ini, tambahkan kode pelat boiler di bawah ini untuk menjalankan skrip Anda.

from pyspark import SparkContext

sc = SparkContext(appName="Scalaword")

Informasi lebih lanjut tentang apa yang Anda dapatkan akan membantu Anda lebih baik.

2
Akarsh 23 Juni 2016, 09:14