Avilys ir verpalai apie kibirkštį

Šiame tinklaraštyje mes atliksime avilių ir verpalų pavyzdžius „Spark“. Pirmiausia sukurkite avilį ir verpalus ant „Spark“ ir tada galėsite paleisti avilio ir verpalų pavyzdžius ant „Spark“.

Mes išmokome Sukurkite avilį ir verpalus ant kibirkšties . Dabar išbandykime avilį ir verpalus „Spark“.

Learn-Spark-Now

ką daro init python

Avilio pavyzdys ant kibirkšties

Mes pateiksime avilio pavyzdį „Spark“. Mes sukursime lentelę, įkelsime duomenis į tą lentelę ir vykdysime paprastą užklausą. Dirbdami su aviliu, turite sukonstruoti a „HiveContext“ kuris paveldi iš SQLContext .

Komanda: cd kibirkštis-1.1.1

Komanda: ./dėklas/žiburėlis

Sukurkite įvesties failą „Pavyzdys“ jūsų namų kataloge, kaip parodyta toliau pateiktoje nuotraukoje (skirtukas atskiriamas)

Komanda: val sqlContext = new org.apache.spark.sql.hive.HiveContext (sc)

Komanda: sqlContext.sql („SUKURTI LENTEL IF, JEI NEBUVA testo (vardas STRING, rangas INT) EILUTĖS FORMATO NUSTATYTI LAUKAI, NUTRAUKTI
„“)

atvirkštinis skaičius pitone

Komanda: sqlContext.sql („ĮKELTI DUOMENŲ VIETINĮ ĮĖJIMĄ’ / home / edureka / sample ’INTO TABLE test“)

Komanda: sqlContext.sql („SELECT * FROM test WHERE reitingas<5”).collect().foreach(println)

Verpalų pavyzdys ant kibirkšties

„SparkPi“ pavyzdį vykdysime verpaluose. Verpalus „Spark“ galime panaudoti dviem režimais: grupių režimu ir kliento režimu. Verpalų grupių režimu „Spark“ tvarkyklė veikia programos pagrindiniame procese, kurį valdo verpalai grupėje, o klientas gali išnykti inicijavęs programą. Verpalų-kliento režimu tvarkyklė veikia kliento procese, o programos pagrindinis failas naudojamas tik norint prašyti išteklių iš siūlų.

Komanda: cd kibirkštis-1.1.1

Komanda: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master verpalai –deploy-mode cluster –class org.apache.spark.examples. „SparkPi“ - „vykdytojai 1“ - draiverio atmintis 2 g

Vykdę aukščiau nurodytą komandą, palaukite, kol gausite Sėkmingai pranešimą.

Naršyti localhost: 8088 / cluster ir spustelėkite programą „Spark“.

Spustelėkite rąstai .

Spustelėkite stdout patikrinti išvestį.

Norėdami naudoti „Spark“ „Spark“ kliento režimu, tiesiog padarykite –Deploy-mode kaip „Klientas“. Dabar jūs žinote, kaip kurti avilį ir verpalus ant kibirkšties. Mes taip pat atlikome praktinius dalykus apie juos.

Turite mums klausimą? Prašau paminėti juos komentarų skiltyje ir mes su jumis susisieksime.

kas yra buferinis skaitytojas

Susijusios žinutės

„Apache Spark“ su „Hadoop“ - kodėl tai svarbu?

Avilį ir siūlus įsielektrina kibirkštis