Avilį ir siūlus įsielektrina kibirkštis

Šiame „Apache Spark“ ir didelių duomenų tinklaraštyje pažiūrėkime, kaip sukurti „Spark“ konkrečiai „Hadoop“ versijai. Taip pat sužinosime, kaip sukurti „Spark“ verpalams ir aviliams.

Šiame tinklaraštyje pažiūrėkime, kaip sukurti „Spark“ konkrečiai „Hadoop“ versijai.

Mes taip pat sužinosime, kaip sukurti „Spark“ su „HIVE“ ir „YARN“.





KM

rubinas ant bėgių darbo rinka

Atsižvelgiant į tai, kad turite Hadoopas, jdk, mvn ir eik iš anksto įdiegta ir sukonfigūruota jūsų sistemoje.



configure-Building-Yarn-and-Hive-on-Spark

Atviras „Mozilla“ naršyklė ir atsisiųsti Kibirkštis naudojant žemiau esančią nuorodą.

https://edureka.wistia.com/medias/k14eamzaza/



Atidarykite terminalą.

Komanda: tar -xvf Downloads / spark-1.1.1.tgz

Komanda: ls

Atidarykite katalogą „spark-1.1.1“.

Galite atidaryti pom.xml failą. Šis failas suteikia jums informacijos apie visus failus priklausomybės Tau reikia.

Neredaguokite, kad nepatirtumėte problemų.

Komanda: CD kibirkštis-1.1.1 /

Komanda: sudo gedit sbt / sbt-launch-lib.bash

Redaguokite failą kaip žemiau pateiktą momentinę kopiją, išsaugokite ir uždarykite.

Mes mažiname atmintį, kad išvengtume objektų kaupimo vietos problemų, kaip minėta žemiau esančioje fotografijoje.

Dabar paleiskite žemiau esančią komandą terminale, kad sukurtumėte „Hadoop 2.2.0“ su HIVE ir YARN kibirkštį.

Komanda: ./sbt/sbt -P verpalai -P avilys -Padoop-2,2 -D hadoop.versija = 2,2,0 -D skipTests surinkimas

Pastaba: Mano „Hadoop“ versija yra 2.2.0, galite ją pakeisti pagal savo „Hadoop“ versiją.

Kitoms „Hadoop“ versijoms

# Apache Hadoop 2.0.5-alfa

-Dhadoop.versija = 2,0,5-alfa

#Cloudera CDH 4.2.0

-Dhadoop.versija = 2.0.0-cdh4.2.0

# Apache Hadoop 0.23x

-Padoop-0,23 -Dhadoop.versija = 0,23,7

# Apache Hadoop 2.3.X

-Phadoop-2.3 -Dhadoop.versija = 2.3.0

# Apache Hadoop 2.4.X

-Phadoop-2.4 -Dhadoop.versija = 2.4.0

Kol užtruks, kol surinks ir pakuos, palaukite, kol baigsis.

Du indeliai kibirkštis-surinkimas-1.1.1-hadoop2.2.0.jar ir kibirkštis-pavyzdžiai-1.1.1-hadoop2.2.0.jar susikuria.

Kelias kibirkštis-surinkimas-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar

Kelias kibirkštis-pavyzdžiai-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar

Sveikiname, sėkmingai sukūrėte „Spark for Hive & Warn“.

Turite mums klausimą? Prašau paminėti juos komentarų skiltyje ir mes su jumis susisieksime.

Susijusios žinutės:

„Apache Spark“ su „Hadoop“ - kodėl tai svarbu?