SQL serverio pagrindai pradedantiesiems
Hadoopo darbo ieškotojas
„Job Tracker“ yra pagrindinis darbo išteklių valdymo ir darbų planavimo / stebėjimo demonas. Tai veikia kaip ryšys tarp „Hadoop“ ir jūsų programos.
Procesas
Prieš pateikdamas klientui darbą, vartotojas pirmiausia nukopijuoja failus į paskirstytą failų sistemą (DFS). Tada klientas gauna šiuos įvesties failus. Naudotojai gaus dalijimus ar blokus pagal įvesties failus.Klientas galėjosukurti žmoguje skilimus ar blokusner tai pirmenybėnes yra tam tikrų priežasčių. Jei atliksite visų duomenų analizę, duomenis padalinsite į padalijimus. Failai nekopijuojami per klientą, bet kopijuojami naudojant „Flume“ ar „Sqoop“ ar bet kurį išorinį klientą.
Kai failai nukopijuojami į DFS ir klientas sąveikauja su DFS,skilimai veiks „MapReduce j“ob. Darbas pateikiamas per darbo stebėjimo priemonę. Darbo stebėjimo priemonė yra pagrindinis demonas, veikiantis tame pačiame mazgebėgašiuos kelis darbus duomenų mazguose. Šie duomenys gulės ant įvairių duomenų mazgų, tačiau tuo rūpintis turi darbo stebėtojas.
Klientui pateikusdarbo sekimas, darbas inicijuojamas darbo eilėje, o darbo stebėjimo priemonė sukuria žemėlapius ir sumažina. Remiantis programa, kuri yra žemėlapio funkcijoje ir sumažinimo funkcijoje, ji sukurs žemėlapio užduotį ir sumažins užduotį. Šie du veiks įvesties dalimis. Pastaba: sukūrus klientams, šiame įvesties skyriuje yra visi duomenys.
Kiekviename įvesties padalijime veikia žemėlapio užduotis, o žemėlapio užduoties išvestis eina į redukcijos užduotį. „Job tracker“ paleidžia takelį pagal tam tikrus duomenis. Tai gali būti kelios pakartojimai, todėl ji renka vietinius duomenis ir vykdo užduotį būtent toje užduočių sekimo priemonėje. Užduočių sekiklis yra tas, kuris iš tikrųjų vykdo užduotį duomenų mazge. Darbo ieškiklis praeisinformacijaį užduočių stebėjimo priemonę ir užduočių stebėjimo priemonė vykdys užduotį duomenų mazge.
Kai užduotis paskirta užduočių sekėjui, su kiekvienu užduočių sekėju ir darbo stebėjimu yra susijęs širdies plakimas. Jis siunčia signalus, norėdamas sužinoti, ar duomenų mazgai vis dar gyvi. Šie du dažnai yra sinchronizuojami, nes yra galimybė mazgams išnykti.
Turite mums klausimą? Paminėkite juos komentarų skiltyje ir mes susisieksime su jumis.
ms sql pamoka pradedantiesiems
Susijusios žinutės:
PHP konvertuoti objektą į masyvą