Įdiekite „Hadoop“: nustatykite vieno mazgo „Hadoop“ grupę
Iš mūsų ankstesnių tinklaraščių , jūs turite turėti teorinę idėją apie „Hadoop“, HDFS ir jų architektūrą.Bet gauti jums reikia gerų praktinių žinių.Tikiuosi, kad jums patiko mūsų ankstesnis tinklaraštis , dabar aš jus apžvelgsiu praktines žinias apie Hadoop ir HDFS. Pirmas žingsnis į priekį - įdiegti „Hadoop“.
Yra du būdai įdiegti „Hadoop“, t. Vienas mazgas ir Keli mazgai .
Vieno mazgo klasteris reiškia tik vieną „DataNode“, veikiantį ir nustatantį visus „NameNode“, „DataNode“, „ResourceManager“ ir „NodeManager“ viename kompiuteryje. Tai naudojama studijų ir bandymų tikslais. Pavyzdžiui, apsvarstykime sveikatos priežiūros pramonės duomenų rinkinį. Taigi, norėdami patikrinti, ar „Oozie“ darbai suplanavo visus procesus, tokius kaip duomenų rinkimas, kaupimas, saugojimas ir apdorojimas tinkama seka, naudojame vieno mazgo grupes. Tai gali lengvai ir efektyviai išbandyti nuoseklią darbo eigą mažesnėje aplinkoje, palyginti su didele aplinka, kurioje yra terabaitų duomenų, paskirstytų šimtuose mašinų.
Būdamas a Kelių mazgų klasteris , veikia daugiau nei vienas „DataNode“ ir kiekvienas „DataNode“ veikia skirtingose mašinose. Daugelio mazgų klasteris praktiškai naudojamas organizacijose analizuojant didelius duomenis. Atsižvelgiant į pirmiau pateiktą pavyzdį, realiuoju laiku, kai mes dirbame su petabaitais duomenų, juos reikia paskirstyti šimtams apdorojamų mašinų. Taigi, čia mes naudojame kelių mazgų grupę.
Šiame tinklaraštyje aš jums parodysiu, kaip įdiegti „Hadoop“ vieno mazgo klasteryje.
Būtinos sąlygos
- VIRTUALI DĖŽUTĖ : jis naudojamas operacinei sistemai įdiegti.
- OPERACINĖ SISTEMA : „Hadoop“ galite įdiegti „Linux“ operacinėse sistemose. Labai dažnai naudojami „Ubuntu“ ir „CentOS“. Šioje pamokoje mes naudojame „CentOS“.
- JAVA : Savo sistemoje turite įdiegti „Java 8“ paketą.
- HADOOPAS : Jums reikalingas „Hadoop 2.7.3“ paketas.
Įdiekite „Hadoop“
1 žingsnis: Paspauskite čia atsisiųsti „Java 8“ paketą. Išsaugokite šį failą savo namų kataloge.
2 žingsnis: Ištraukite „Java Tar“ failą.
Komanda : degutas -xvf jdk-8u101-linux-i586.tar.gz
Pav. „Hadoop“ diegimas - „Java“ failų išskleidimas
3 žingsnis: Atsisiųskite „Hadoop 2.7.3“ paketą.
Komanda : wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
Pav. „Hadoop“ diegimas - „Hadoop“ atsisiuntimas
duomenimis pagrįstas seleno bandymas
4 žingsnis: Ištraukite „Hadoop tar“ failą.
Komanda : tar -xvf hadoop-2.7.3.tar.gz
Pav. „Hadoop“ diegimas - „Hadoop“ failų išskleidimas
5 žingsnis: Į „bash“ failą (.bashrc) pridėkite „Hadoop“ ir „Java“ kelius.
Atviras . bashrc failą. Dabar pridėkite „Hadoop“ ir „Java“ kelią, kaip parodyta žemiau.
Komanda : vi .bashrc
Pav. „Hadoop“ diegimas - kintamos aplinkos nustatymas
Tada išsaugokite bash failą ir uždarykite jį.
Norėdami pritaikyti visus šiuos pakeitimus dabartiniame terminale, vykdykite komandą šaltinis.
Komanda : šaltinis .bashrc
Pav. „Hadoop“ diegimas - gaivinantys aplinkos kintamieji
Norėdami įsitikinti, kad „Java“ ir „Hadoop“ yra tinkamai įdiegtos jūsų sistemoje ir prie jų galima prisijungti per terminalą, elxecute „java -version“ ir „hadoop version“ komandas.
Komanda : java-versija
Pav. „Hadoop“ diegimas - „Java“ versijos tikrinimas
Komanda : hadoopasversija
Pav. „Hadoop“ diegimas - „Hadoop“ versijos tikrinimas
6 žingsnis : Redaguokite .
Komanda: cd hadoop-2.7.3 / etc / hadoop /
Komanda: ls
Visi „Hadoop“ konfigūracijos failai yra hadoop-2.7.3 / etc / hadoop katalogą, kaip matote toliau pateiktoje fotografijoje:
Pav. „Hadoop“ diegimas - „Hadoop“ konfigūracijos failai
7 žingsnis : Atviras core-site.xml ir redaguokite žemiau nurodytą ypatybę konfigūracijos žymoje:
core-site.xml informuoja „Hadoop“ deemoną, kur „NameNode“ veikia grupėje. Jame yra „Hadoop“ branduolio konfigūracijos parametrai, tokie kaip įvesties / išvesties nustatymai, bendri HDFS ir „MapReduce“.
Komanda : vi core-site.xml
Pav. „Hadoop“ diegimas - „core-site.xml“ konfigūravimas
fs.default.name hdfs: // localhost: 9000
8 žingsnis: Redaguoti hdfs-site.xml ir redaguokite žemiau nurodytą ypatybę konfigūracijos žymoje:
hdfs-site.xml yra HDFS demonų konfigūracijos nustatymai (t. y. NameNode, DataNode, Secondary NameNode). Tai taip pat apima HDFS replikacijos koeficientą ir bloko dydį.
Komanda : vi hdfs-site.xml
Paveikslėlis: „Hadoop“ diegimas - „hdfs-site.xml“ konfigūravimas
dfs.replication 1 dfs.permission klaidinga
9 žingsnis : Redaguokite mapred-site.xml failą ir redaguokite žemiau nurodytą ypatybę konfigūracijos žymoje:
mapred-site.xml yra „MapReduce“ programos konfigūracijos parametrai, pvz., JVM, kuris gali veikti lygiagrečiai, skaičius, žemėlapio dydis ir reduktoriaus procesas, procesoriaus procesoriaus šerdys ir kt.
Kai kuriais atvejais failas mapred-site.xml nėra. Taigi turime sukurti failą mapred-site.xmlnaudojant „mapred-site.xml“ šabloną.
Komanda : cp mapred-site.xml.template mapred-site.xml
Komanda : mes mapred-svetainėje.xml.
Paveikslėlis: „Hadoop“ diegimas - „mapred-site.xml“ konfigūravimas
mapreduce.framework.name verpalai
10 žingsnis: Redaguoti verpalai-site.xml ir redaguokite žemiau nurodytą ypatybę konfigūracijos žymoje:
verpalai-site.xml yra „ResourceManager“ ir „NodeManager“ konfigūracijos nustatymai, pvz., programos atminties tvarkymo dydis, programos ir algoritmo reikalinga operacija ir kt.
Komanda : vi verpalai-site.xml
Paveikslėlis: „Hadoop“ diegimas - verpalų site.xml konfigūravimas
verpalai.nodemanager.aux-services mapreduce_shuffle verpalai.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
11 žingsnis: Redaguoti hadoop-env.sh ir pridėkite „Java“ kelią, kaip minėta žemiau:
hadoop-env.sh yra aplinkos kintamieji, kurie naudojami scenarijuje paleisti „Hadoop“, pvz., „Java“ namų kelias ir kt.
Komanda : mes hadoopas-env.sh
Pav. „Hadoop“ diegimas - „hadoop-env.sh“ konfigūravimas
12 žingsnis: Eikite į „Hadoop“ namų katalogą ir suformuokite „NameNode“.
Komanda : Kompaktinis diskas
Komanda : cd hadoop-2.7.3
Komanda : bin / hadoop purpose -formatas
Pav. „Hadoop“ diegimas - „NameNode“ formatavimas
Tai formatuoja HDFS per „NameNode“. Ši komanda vykdoma tik pirmą kartą. Failų sistemos formatavimas reiškia inicijuoti katalogą, nurodytą kintamuoju dfs.name.dir.
Niekada nesuformatuokite, neveikite ir neveikite „Hadoop“ failų sistemos. Prarasite visus HDFS saugomus duomenis.
13 žingsnis: Suformatavę „NameNode“, eikite į katalogą hadoop-2.7.3 / sbin ir paleiskite visus demonus.
Komanda: cd hadoop-2.7,3 / sbin
Arba galite paleisti visus demonus viena komanda, arba tai padaryti atskirai.
Komanda: ./ pradžia-visa.sh
Pirmiau nurodyta komanda yra start-dfs.sh, start-yarn.sh & mr-jobhistory-daemon.sh
Arba galite vykdyti visas paslaugas atskirai, kaip nurodyta toliau:
Pradžios vardasNode:
„NameNode“ yra pagrindinis HDFS failų sistemos elementas. Jis saugo visų HDFS saugomų failų katalogų medį ir seka visus rinkinyje saugomus failus.
duomenimis pagrįsta seleno sistema
Komanda: ./hadoop-daemon.sh pradžios tikslas
Pav. „Hadoop“ diegimas - „StartNameNode“
Pradėti „DataNode“:
Paleidimo metu „DataNode“ prisijungia prie „Namenode“ ir jis atsako į „Namenode“ užklausas dėl skirtingų operacijų.
Komanda: ./hadoop-daemon.sh pradžios datanodas
Pav. „Hadoop“ diegimas - „DataNode“ paleidimas
Paleisti „ResourceManager“:
„ResourceManager“ yra pagrindinis, kuris atlieka visus turimus sankaupos išteklius ir taip padeda valdyti paskirstytas programas, veikiančias YARN sistemoje. Jos darbas yra valdyti kiekvieną „NodeManagers“ ir kiekvienos programos „ApplicationMaster“.
Komanda: ./ verpalai-daemon.sh start resursų tvarkytojas
Pav. „Hadoop“ diegimas - „ResourceManager“ paleidimas
Paleisti „NodeManager“:
Kiekvienoje mašinų sistemoje „NodeManager“ yra agentas, kuris yra atsakingas už konteinerių valdymą, jų išteklių naudojimo stebėjimą ir ataskaitų teikimą „ResourceManager“.
Komanda: ./ verpalai-daemon.sh paleidimo vadovas
Paveikslėlis: „Hadoop“ diegimas - „NodeManager“ paleidimas
Paleisti „JobHistoryServer“:
„JobHistoryServer“ yra atsakingas už visų su kliento darbo istorija susijusių užklausų aptarnavimą.
Komanda : ./mr-jobhistory-daemon.sh paleisti istoryserver
14 žingsnis: Norėdami patikrinti, ar visos „Hadoop“ paslaugos veikia ir veikia, vykdykite toliau pateiktą komandą.
Komanda: jps
Paveikslėlis: „Hadoop“ diegimas - tikrinant demonus
15 žingsnis: Dabar atidarykite „Mozilla“ naršyklę ir eikite į vietinis šeimininkas : 50070 / dfshealth.html patikrinti „NameNode“ sąsają.
Pav. „Hadoop“ diegimas - „WebUI“ paleidimas
Sveikiname, vienu ypu sėkmingai įdiegėte vieno mazgo „Hadoop“ grupę.Kitame mūsų tinklaraštyje taip pat aptarsime, kaip įdiegti „Hadoop“ kelių mazgų klasteryje.
Dabar, kai supratote, kaip įdiegti „Hadoop“, patikrinkite sukūrė „Edureka“ - patikima internetinė mokymosi įmonė, turinti daugiau nei 250 000 patenkintų besimokančiųjų tinklą. „Edureka Big Data Hadoop“ sertifikavimo mokymo kursai padeda besimokantiesiems tapti HDFS, verpalų, „MapReduce“, „Pig“, „Hive“, „HBase“, „Oozie“, „Flume“ ir „Sqoop“ ekspertais, naudojant realaus laiko naudojimo atvejus mažmeninės prekybos, socialinės žiniasklaidos, aviacijos, turizmo, finansų srityse.
Turite mums klausimą? Prašau paminėti tai komentarų skiltyje ir mes su jumis susisieksime.