Eksploatacijos ir eksploatavimo nutraukimo mazgai „Hadoop“ grupėje



Ar žinote, kaip pridėti arba pašalinti „Hadoop“ grupės mazgus? Čia jums skirtas tinklaraščio įrašas - mazgų paleidimas ir eksploatavimo nutraukimas „Hadoop“ grupėje.

Viena iš patraukliausių „Hadoop“ sistemos savybių yra jos prekių aparatūros panaudojimas . Tačiau tai lemia dažną „DataNode“ gedimą „Hadoop“ klasteryje. Kitas ryškus „Hadoop Framework“ bruožas yra masto lengvumas atsižvelgiant į spartų duomenų kiekio augimą . Dėl šių dviejų priežasčių viena dažniausių „Hadoop“ administratoriaus užduočių yra: Komisija (Pridėti) ir eksploatavimo nutraukimas (Pašalinti) duomenų mazgus „Hadoop“ grupėje.

kaip uždaryti Java programą

Eksploatacijos ir eksploatavimo nutraukimo mazgai „Hadoop“ grupėje:

Duomenų mazgų eksploatavimo nutraukimas (pašalinimas) „Hadoop“ grupėje





Aukščiau pateiktoje diagramoje parodomas žingsnis po žingsnio, kaip nutraukti „DataNode“ grupėje.

Pirmoji užduotis yra atnaujinti Neįtraukti ‘Failai abiem HDFS (hdfs-site.xml) ir „MapReduce“ (mapred-site.xml).



Failas „neįtraukti“:

  • darbo ieškotojui yra sąrašas kompiuterių, kuriuos turėtų pašalinti darbo ieškotojas. Jei reikšmė tuščia, jokie kompiuteriai neišskiriami.
  • už Namenode yra sąrašas kompiuterių, kuriems neleidžiama prisijungti prie „Namenode“.

Čia yra pavyzdžio konfigūracija, skirta failui hdfs-site.xml ir mapred-site.xml išskirti failą:

hdfs-site.xml




dfs.hosts.exclude
/ home / hadoop / neįtraukiama
tiesa

mapred-site.xml


mapred.hosts.cluuce
/ home / hadoop / neįtraukiama
tiesa

Pastaba: Turi būti nurodytas visas failų kelio pavadinimas.

Panašiai turime ir failus „įtraukti“:

  • darbo ieškotojui kuriame yra mazgų, kurie gali prisijungti prie „JobTracker“, sąrašas. Jei reikšmė tuščia, leidžiami visi pagrindiniai kompiuteriai.
  • už Namenode kuriame yra kompiuterių, kuriems leidžiama prisijungti prie „Namenode“, sąrašas. Jei reikšmė tuščia, leidžiami visi pagrindiniai kompiuteriai.

dfsadmin Ir „ mradminas ’Komandos atnaujina konfigūraciją pakeitimais, kad jie sužinotų apie naują mazgą.

vergai ’Faile pagrindiniame serveryje yra visų duomenų mazgų sąrašas. Tai taip pat turi būti atnaujinta, kad būtų užtikrinta bet kokia būsimo „Hoopoop“ demono pradžios / pabaigos problema.

Svarbus duomenų mazgų komisijos proceso žingsnis yra „Cluster Balancer“ paleidimas.

> hadoop balanseris - slenkstis 40

Balansuotojas bando pateikti balansą iki tam tikros ribos tarp duomenų mazgų, nukopijuodami blokinius duomenis iš senesnių mazgų į naujai užsakytus mazgus.

Taigi, jūs galite tai padaryti - Eksploatacijos pradžia ir Eksploatavimo nutraukimas Mazgai „Hadoop“ klasteryje.

Turite mums klausimą? Prašau paminėti tai komentarų skiltyje ir mes su jumis susisieksime.

Susijusios nuorodos: