Šiame tinklaraštyje pažiūrėkime, kaip sukurti „Spark“ konkrečiai „Hadoop“ versijai.
Mes taip pat sužinosime, kaip sukurti „Spark“ su „HIVE“ ir „YARN“.
rubinas ant bėgių darbo rinka
Atsižvelgiant į tai, kad turite Hadoopas, jdk, mvn ir eik iš anksto įdiegta ir sukonfigūruota jūsų sistemoje.
Atviras „Mozilla“ naršyklė ir atsisiųsti Kibirkštis naudojant žemiau esančią nuorodą.
https://edureka.wistia.com/medias/k14eamzaza/
Atidarykite terminalą.
Komanda: tar -xvf Downloads / spark-1.1.1.tgz
Komanda: ls
Atidarykite katalogą „spark-1.1.1“.
Galite atidaryti pom.xml failą. Šis failas suteikia jums informacijos apie visus failus priklausomybės Tau reikia.
Neredaguokite, kad nepatirtumėte problemų.
Komanda: CD kibirkštis-1.1.1 /
Komanda: sudo gedit sbt / sbt-launch-lib.bash
Redaguokite failą kaip žemiau pateiktą momentinę kopiją, išsaugokite ir uždarykite.
Mes mažiname atmintį, kad išvengtume objektų kaupimo vietos problemų, kaip minėta žemiau esančioje fotografijoje.
Dabar paleiskite žemiau esančią komandą terminale, kad sukurtumėte „Hadoop 2.2.0“ su HIVE ir YARN kibirkštį.
Komanda: ./sbt/sbt -P verpalai -P avilys -Padoop-2,2 -D hadoop.versija = 2,2,0 -D skipTests surinkimas
Pastaba: Mano „Hadoop“ versija yra 2.2.0, galite ją pakeisti pagal savo „Hadoop“ versiją.
Kitoms „Hadoop“ versijoms
# Apache Hadoop 2.0.5-alfa
-Dhadoop.versija = 2,0,5-alfa
#Cloudera CDH 4.2.0
-Dhadoop.versija = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23x
-Padoop-0,23 -Dhadoop.versija = 0,23,7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.versija = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.versija = 2.4.0
Kol užtruks, kol surinks ir pakuos, palaukite, kol baigsis.
Du indeliai kibirkštis-surinkimas-1.1.1-hadoop2.2.0.jar ir kibirkštis-pavyzdžiai-1.1.1-hadoop2.2.0.jar susikuria.
Kelias kibirkštis-surinkimas-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Kelias kibirkštis-pavyzdžiai-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Sveikiname, sėkmingai sukūrėte „Spark for Hive & Warn“.
Turite mums klausimą? Prašau paminėti juos komentarų skiltyje ir mes su jumis susisieksime.
Susijusios žinutės:
„Apache Spark“ su „Hadoop“ - kodėl tai svarbu?