Reliacinių duomenų bazių ilgą laiką pakako tvarkyti mažus ar vidutinius duomenų rinkinius. Tačiau kolosalus duomenų augimo greitis daro neįmanomą tradicinį požiūrį į duomenų saugojimą ir paiešką. Šią problemą sprendžia naujesnės technologijos, galinčios tvarkyti „Big Data“. „Hadoop“, „Hive“ ir „Hbase“ yra populiarios platformos, leidžiančios valdyti tokio tipo didelius duomenų rinkinius. „NoSQL“ ar „Ne tik SQL“ duomenų bazės, tokios kaip „MongoDB“, suteikia mechanizmą duomenims kaupti ir gauti nevykėlių nuoseklumo modelyje su tokiais pranašumais:
- Horizontalus mastelis
- Didesnis prieinamumas
- Greitesnė prieiga
„MongoDB“ inžinerijos komanda neseniai atnaujino „MongoDB Connector for Hadoop“, kad būtų geriau integruota. Tai palengvina „Hadoop“ vartotojams:
- Integruokite realaus laiko duomenis iš „MongoDB“ su „Hadoop“, kad galėtumėte atlikti išsamią analizę neprisijungę.
- „Connector“ atskleidžia „Hadoop“ programos „MapReduce“ analitinę galią, kad gautų tiesioginius programų duomenis iš „MongoDB“, greičiau ir efektyviau didindami didžiųjų duomenų vertę.
- Jungtis pristato „MongoDB“ kaip su „Hadoop“ suderinamą failų sistemą, leidžiančią „MapReduce“ užduotį skaityti iš „MongoDB“ tiesiogiai nenukopijavus jos į HDFS („Hadoop“ failų sistemą), todėl nebereikia perkelti terabaitų duomenų per tinklą.
- „MapReduce“ užduotys gali perduoti užklausas kaip filtrus, taip išvengiant poreikio nuskaityti visas kolekcijas, taip pat galima pasinaudoti turtingomis MongoDB indeksavimo galimybėmis, įskaitant geografinę erdvę, teksto paiešką, masyvą, sudėtinius ir retus rodiklius.
- Skaitant iš „MongoDB“, „Hadoop“ užduočių rezultatai taip pat gali būti įrašomi atgal į „MongoDB“, kad būtų palaikomi realaus laiko operaciniai procesai ir ad-hoc užklausos.
„Hadoop“ ir „MongoDB“ naudojimo atvejai:
Pažvelkime į aukšto lygio aprašymą, kaip „MongoDB“ ir „Hadoop“ gali tilpti į tipišką „Big Data“ kaminą. Pirmiausia turime:
kas yra java
- MongoDB naudojamas kaip „Operatyvi“ realaus laiko duomenų saugykla
- Hadoopas Duomenų neprisijungus apdorojimas ir analizė
Perskaitykite ir sužinokite, kodėl ir kaip „MongoDB“ naudojo tokios įmonės ir organizacijos kaip „Aadhar“, „Shutterfly“, „Metlife“ ir „eBay“ .
kuo skiriasi klasė ir sąsaja
„MongoDB“ su „Hadoop“ taikymas partijų kaupime:
Daugeliu atvejų duomenų analizavimui pakanka įmontuoto kaupimo funkcionalumo, kurį teikia „MongoDB“. Tačiau tam tikrais atvejais gali reikėti žymiai sudėtingesnio duomenų kaupimo. Čia „Hadoop“ gali suteikti galingą kompleksinės analizės pagrindą.
Šiame scenarijuje:
- Duomenys yra gaunami iš „MongoDB“ ir apdorojami „Hadoop“ naudojant vieną ar daugiau „MapReduce“ užduočių. Duomenys taip pat gali būti gaunami iš kitų šių „MapReduce“ darbų vietų, kad būtų sukurtas kelių duomenų šaltinio sprendimas.
- Tada šių „MapReduce“ užduočių rezultatai gali būti įrašyti atgal į „MongoDB“, kad būtų galima atlikti užklausas vėliau ir atlikti bet kokią ad hoc analizę.
- Todėl programos, sukurtos „MongoDB“ viršuje, gali naudoti paketinės analizės informaciją pateikti galutiniam klientui arba įgalinti kitas tolesnio lygio funkcijas.
Taikymas duomenų saugykloje:
Įprastoje gamybos sąrangoje programos duomenys gali būti keliose duomenų saugyklose, kiekvienoje iš jų su savo užklausos kalba ir funkcijomis. Siekiant sumažinti šių scenarijų sudėtingumą, „Hadoop“ gali būti naudojamas kaip duomenų saugykla ir veikia kaip centralizuota įvairių šaltinių duomenų saugykla.
Pagal šį scenarijų:
srities skiriamosios gebos operatorius c ++
- Periodinis „MapReduce“ užduočių įkelti duomenis iš „MongoDB“ į „Hadoop“.
- Kai „Hadoop“ bus prieinami duomenys iš „MongoDB“ ir kitų šaltinių, galima atsakyti į didesnį duomenų rinkinį.
- Duomenų analitikai dabar turi galimybę naudoti „MapReduce“ arba „Pig“ kurdami darbo vietas, kurios pateikia užklausą dėl didesnių duomenų rinkinių, kuriuose yra duomenys iš „MongoDB“.
Komanda, dirbanti už „MongoDB“, užtikrino, kad turėdama didelę integraciją su „Big Data“ technologijomis, tokiomis kaip „Hadoop“, ji galės gerai integruotis į „Big Data Stack“ ir padėti išspręsti kai kuriuos sudėtingus architektūrinius klausimus, susijusius su duomenų saugojimu, paieška, apdorojimu, kaupimu ir sandėliavimu. . Sekite naujienas apie būsimą mūsų įrašą apie karjeros perspektyvas tiems, kurie pradeda „Hadoop“ su „MongoDB“. Jei jau dirbate su „Hadoop“ arba tiesiog renkate „MongoDB“, peržiūrėkite mūsų siūlomus „MongoDB“ kursus