Mes išmokome Sukurkite avilį ir verpalus ant kibirkšties . Dabar išbandykime avilį ir verpalus „Spark“.
ką daro init python
Avilio pavyzdys ant kibirkšties
Mes pateiksime avilio pavyzdį „Spark“. Mes sukursime lentelę, įkelsime duomenis į tą lentelę ir vykdysime paprastą užklausą. Dirbdami su aviliu, turite sukonstruoti a „HiveContext“ kuris paveldi iš SQLContext .
Komanda: cd kibirkštis-1.1.1
Komanda: ./dėklas/žiburėlis
Sukurkite įvesties failą „Pavyzdys“ jūsų namų kataloge, kaip parodyta toliau pateiktoje nuotraukoje (skirtukas atskiriamas)
Komanda: val sqlContext = new org.apache.spark.sql.hive.HiveContext (sc)
Komanda: sqlContext.sql („SUKURTI LENTEL IF, JEI NEBUVA testo (vardas STRING, rangas INT) EILUTĖS FORMATO NUSTATYTI LAUKAI, NUTRAUKTI
„“)
atvirkštinis skaičius pitone
Komanda: sqlContext.sql („ĮKELTI DUOMENŲ VIETINĮ ĮĖJIMĄ’ / home / edureka / sample ’INTO TABLE test“)
Komanda: sqlContext.sql („SELECT * FROM test WHERE reitingas<5”).collect().foreach(println)
Verpalų pavyzdys ant kibirkšties
„SparkPi“ pavyzdį vykdysime verpaluose. Verpalus „Spark“ galime panaudoti dviem režimais: grupių režimu ir kliento režimu. Verpalų grupių režimu „Spark“ tvarkyklė veikia programos pagrindiniame procese, kurį valdo verpalai grupėje, o klientas gali išnykti inicijavęs programą. Verpalų-kliento režimu tvarkyklė veikia kliento procese, o programos pagrindinis failas naudojamas tik norint prašyti išteklių iš siūlų.
Komanda: cd kibirkštis-1.1.1
Komanda: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master verpalai –deploy-mode cluster –class org.apache.spark.examples. „SparkPi“ - „vykdytojai 1“ - draiverio atmintis 2 g
Vykdę aukščiau nurodytą komandą, palaukite, kol gausite Sėkmingai pranešimą.
Naršyti localhost: 8088 / cluster ir spustelėkite programą „Spark“.
Spustelėkite rąstai .
Spustelėkite stdout patikrinti išvestį.
Norėdami naudoti „Spark“ „Spark“ kliento režimu, tiesiog padarykite –Deploy-mode kaip „Klientas“. Dabar jūs žinote, kaip kurti avilį ir verpalus ant kibirkšties. Mes taip pat atlikome praktinius dalykus apie juos.
Turite mums klausimą? Prašau paminėti juos komentarų skiltyje ir mes su jumis susisieksime.
kas yra buferinis skaitytojas
Susijusios žinutės
„Apache Spark“ su „Hadoop“ - kodėl tai svarbu?
Avilį ir siūlus įsielektrina kibirkštis