Jei jau esate iš IT pramonė , jūs turite tai žinoti Dideli duomenys yra dienos pokalbis. Ar tai būtų nauji startuoliai, kuriantys novatoriškus verslo modelius, ar jūsų kolegos, kurie prisijungia prie tų startuolių, dėl kažkokių priežasčių šiandienos žalesnės ganyklos atrodo, kad yra Dideli duomenys industrija.
Jei įdomu, kodėl, tada aš rekomenduoju perskaityti tai iki pat pabaigos, nes tai gali būti savęs ieškantis tinklaraštis, vedantis jus į tai, kas jums skirta.
Taigi, kodėl visa taiHYPEaplinkiniai DIDELIAI DUOMENYS?
Ar tai tik dar viena sritis, kuri laikinai išleis pabėgėlius iš visų kitų sričių? O gal čia bus tolimam reisui?
Jei spėčiau, tai sakyčiau ne tik tolimam kelionei, bet ir „Big Data“ pramonė bus technologijų pažangos epicentre.
Nes viskas yra apieDUOMENYS!
Visai kaip SaulėpakylanuoRytaiirrinkiniaividujeVakarai, nuolat naudojant skaičiavimo / neskaičiavimo įtaisus, atsiras nevaldomų duomenų protrūkis.
Kai šie duomenys peržengia ribą, juos turi tvarkyti „Excel“ ar bet kokia duomenų bazių valdymo sistema DIDELIAI DUOMENYS .
Pagalvokite, kurį paskutinį produktą įsigijote iš „Amazon“? Kuris gali būti kitas produktas, kurį galėtumėte įsigyti pagal ankstesnę veiklą? Atsakymai į tokius klausimus saugomi „Big Data“.
Ar už produkto auga tendencija? Arba yra tendencija mažėti? Ar pirkdamas „Avalynę“ klientas pirks „Kojines“? Tai yra verslo problemų sprendimo klausimai.
Šie klausimai gali būti lengvai atsakė naudojant Didžiųjų duomenų analizė .
Galų gale, koks yra duomenų naudojimas, kai nesate analizuodamas tai?
Taigi, yra „Big Data“visiškai apie„Analytics“?Ne visiškai, bet „Analytics“ yra pagrindinis prizas.
Kiti pagrindiniai „Big Data“ srautai yraSandėliavimasirValdymas.
Čia galite prisidėti kaip profesionalas. Galite prisiimti bet kurio iš šių vaidmenų:
- Didžiųjų duomenų inžinierius
- „Big Data Solution“ architektas
Įsitikinkite, kad generuojami dideli duomenys yra visada prieinami ir juos vėliau galima naudoti analizei atlikti. Taigi tai mus atveda prie klausimo & hellip
Kur saugomi didieji duomenys?
Ar galima jį laikyti„Excel“ failas? Ar galima jį laikyti areliacinių duomenų bazių sistema?
Tikrai ne!
Jei taip galėjo būti, tada būtų buvę!
java metė dvigubai į tarpt
Ir visi kartu vadinkis kitaip. Gal kažkas panašaus„Excel-Data“arbaRDBMS duomenys: D
Ir tai mus grąžintų atgal 1 ŽINGSNIS : - Kodėl „Big Data“ negalima valdyti naudojant „Excel“? NesDidieji duomenys yra tiesiog per karšti, kad „Excel“ galėtų juos tvarkyti. Ir netgi kitos duomenų bazių valdymo sistemos.
Taigi, kokia yra alternatyva?
„Big Data“ tvarkymui turime HADOOPAS . Galbūt jūs žinote ir šį žodį. Bet jums gali būti įdomu, kaip tai tiksliai veikia?
Pradedantiesiems HADOOP yra produktasAPACHE fondas. „Apache“ yra amerikiečių ne pelno organizacija, palaikanti atviro kodo programinės įrangos kūrimą.
„Hadoop“ apibrėžiamas kaip atvirojo kodo „Java“ pagrindu sukurta programavimo sistema, palaikanti itin didelių duomenų rinkinių apdorojimą ir saugojimą paskirstytoje skaičiavimo aplinkoje.
Ką gali padaryti Hadoopas, bet „Excel“ negali?
Apdorokite ir supraskite nestruktūrizuotus duomenis!Struktūrinius duomenis, kurie pateikiami lentelių formatu ar kitaip, galima lengvai tvarkyti. „Excel“ gali tai padaryti, taip pat ir bet kuri kita RDBMS.
Bet kai skaitomumas sumažėja ir duomenys nestruktūrizuoti, tai yra vieta, kur „Big Data“įrankiai, tokie kaip Hadoopasrezultatas. Nestruktūrizuotų duomenų pavyzdys yra syslog . Pavyzdinis vaizdas yra žemiau.
Tokių žurnalų tikrai negalima pateikti naudojant „Excel“.
„Hadoop“, kaip ir „Big Data“ įrankiai, gali suprasti duomenis tokius, kokie jie yra, atkasdami modelius ir formuodami ryšius tarp įvairių sričių. Ir kai duomenys turi ryšį, jie yraParengta „Analytics“.
„Analytics“ daro verslą įtaką organizacijai! Jūsų karjera bus labai naudinga, jei dalyvausite šioje „Big Data“ srityje.
' Ar galiu tai padaryti kaip „Hadoop-er“? '
... gali būti kitas jūsų minties klausimas. Teisingai manant, „Big Data“ yra rinka, kuri kaip niekada karšta ir svarbi kaip niekada.
Be „Hadoop“ įmonėms bus sunku susidoroti su „Big Data“. Ir be kvalifikuotų specialistų, tokių kaip jūs, įmonėms bus sunku dirbti su „Hadoop“.
Yra ataskaita, kurioje teigiama, kad šioje srityje yra talentų deficitas. Kalendorių deficitas reiškia, kad mažiau specialistų, bet didelė paklausa. Tai yra pasauliniu mastu ir neapsiriboja tam tikra geografija.
Ar norite skaičių?
Į McKinsey pasaulinis institutas Tyrime teigiama, kad JAV trūks apie 190 000 duomenų mokslininkų ir 1,5 milijono vadybininkų ir analitikų, kurie iki 2018 m. galėtų suprasti ir priimti sprendimus naudodamiesi „Big Data“.
Karjeros patarimai jums? Naršykite, kai atoslūgiai yra nedideli!
Bet ar tu ribojamas tik Hadoopas ?
sukrauti ir kaupti java
Ne visai. „Big Data“ apdorojimui yra daugybė įrankių, o „Hadoop“ laikomas vienu geriausių. Bet ne visada!
Yra atvejų, kai Hadoopas nėra tinkamiausias. Pavyzdžiui, jei esate netechninis asmuo, kuris nelabai moka rašyti „MapReduce“ programas.
Tokiais atvejais galite naudotiTALENDAS, kuri suteikia jums grafinę vartotojo sąsają, kad galėtumėte daryti viską, ką būtumėte darę naudodami MapReduce.
Norėdami rašyti paprastesnius „Java“ kodus, galite naudotiKIAULĖ.
Jei norite vykdyti panašias į SQL užklausas „Big Data“, tadaHIVEGali būti naudojamas.
Jei norite naudoti duomenis, saugomus NoSQL duomenų bazėje, tadaHBaseGali būti naudojamas.
Norėdami atlikti analizę realiuoju laiku, galite naudotiKibirkštis.
Tai yra „Big Data“ įrankiai, kurie naudojami kartu su „Hadoop“, tačiau jie niekaip nepakeičia „Hadoop“. Jie yra „Hadoop“ priedai, skirti „Big Data“.
Be to, yra dar keletas įrankių, tokių kaip SQOOP, FLUME, OOZIE ir kt., Kuriuos galima integruoti į „Hadoop“ sistemą įvairioms verslo problemoms spręsti.
Ko pramonė tikisi iš jūsų, kaip iš didžiųjų duomenų eksperto?
Pramonei to labai reikia DIDELI DUOMENŲ ARCHITEKTAI kurie gali sukurti visapusišką didžiųjų duomenų sprendimą savo organizacijoms. „Big Data Architects“ yra tie, kurie turi visų anksčiau paminėtų įrankių patirties.
Čia yra „Edureka“ besimokančiojo liudijimas kursas:
Tapti pradedant „Edureka“ „Big Data And Hadoop“ sertifikavimo mokymais, kurie padeda besimokantiesiems tapti HDFS, verpalų, „MapReduce“, „Pig“, „Hive“, „HBase“, „Oozie“, „Flume“ ir „Sqoop“ ekspertais, naudojant realaus laiko naudojimo atvejus mažmeninės prekybos, socialinės žiniasklaidos, aviacijos, turizmo, finansų srityse. .