'
Spartus skaitmeninių duomenų išplėtimas per kompiuterius, mobiliuosius įrenginius, vaizdo įrašus, socialinę žiniasklaidą, skaitmeninius jutiklius ir kt. Kartu su pagrindiniais pranašumais dėl pigesnių duomenų apdorojimo galios, atvirojo kodo duomenų bazių programų ir platesnio pralaidumo sukėlė didžiulį susidomėjimą visame verslo pasaulyje. kylanti didžiųjų duomenų mokslo sritis ir analizė.
java padalinti eilutę kelis skiriklius
Dideli didelių nestruktūruotų duomenų kiekiai yra per dideli, kad juos būtų galima valdyti ir analizuoti tradiciniais metodais. Dėl didžiulio šių dienų duomenų kiekio ir greičio fiksavimas, filtravimas, saugojimas ir analizavimas yra tikras iššūkis. Šiuo tikslu reguliariai kuriami nauji produktai, kurie reikalauja naujų įgūdžių ir patirties. Didėja poreikis asmenų, kurie gali integruoti naują infrastruktūrą, platformas ir procesus į organizaciją, taip pat tų, kurie gali kurti naują analizę ir algoritmus, galinčius sukurti milžinišką didelės verslo vertės intelektą. Norėdami gauti daugiau informacijos, skaitykite mūsų tinklaraščio įrašą
Duomenų mokslo aktualumas įvairiose pramonės šakose:
„Data Science & Analytics“ taikoma visose pramonės šakose:
- elektroninės prekybos - Individualizavimo ir rekomendacijų varikliai, didinantys pardavimus.
- Reklama - tikslinis skelbimų pateikimas vartotojams realiuoju laiku.
- Žiniasklaida ir pramogos - Individualus turinio kūrimas, kuris maksimaliai padidina vartotojų įsitraukimą.
- Socialinė žiniasklaida - Padidėjęs svetainės „lipnumas“, vartotojų augimas, gebėjimas stebėti sparčiai trunkančias tendencijas, pagrįstas vartotojų nuotaikomis.
- Finansinės paslaugos –Optimizuota skolinimo praktika, sumažinanti riziką ir sukčiavimą.
- Farmacija / bioinformatika - Geresnis vaistų atradimas, efektyvesnis grėsmingų ligų gydymas, genų inžinerijos patobulinimai.
- Sveikatos apsauga - Geresnis medicinos pacientų įvertinimas pagal riziką sveikatai, ligų numatymas ir ankstyva prevencija.
- Galia / energija - Pažangus tinklo intelektas, naudojimo efektyvumas, energijos taupymas ir prastovų sumažinimas.
- Informacijos saugumas - Labai pagerintas vertingos įmonės informacijos ir turto vagystės aptikimas ir stebėjimas.
Pagrindiniai duomenų mokslo specialistų įgūdžiai:
Duomenų mokslo srityje reikalingi profesionalai, kurie:
- Supranta duomenų analizę ir sprendimų mokslą
- Puikiai išmano IT
- Turi tvirtą verslo nuovoką
- Turėkite galimybę efektyviai bendrauti su sprendimų priėmėjais
Skaityti daugiau: Pagrindiniai įgūdžiai, reikalingi norint būti duomenų mokslininku.
Bendros technologijos, susijusios su duomenų mokslo praktika:
- Duomenų bazės
„Oracle“, „SQL Server“, „Teradata“
„Cassandra“, „Hadoop“, „MapReduce“, „HBase“
„Aster“, „Greenplum“, „Netezza“
- Kalbos
„Ajax“, „C ++“, CSS, HTML5, „Java“, „JavaScript“, „Perl“, „Python“, „Scala“
Avilys, Kiaulė, Lucene, Mahoutas, Solr
- Statistika ir prognozavimas
Angoss, MATLAB, R, SAS, SPSS
ARKAS, GARCHAS, SVARAS, VARAS, VECAS, GAUSAS
- Duomenų vizualizavimas
„QlikView“, „Spotfire“, „Tableau“, „yWorks“, R.
- BI ir ataskaitų teikimas
„BusinessObjects“, „Cognos“, „MicroStrategy“
Kas yra Cassandra?
- „Apache Cassandra“ yra atviro kodo paskirstytos duomenų bazių valdymo sistema, sukurta tvarkyti didelius duomenų kiekius daugelyje prekių serverių.
- „Cassandra“ užtikrina aukštą prieinamumą be vieno gedimo taško.
- „Cassandra“ siūlo tvirtą klasterių, apimančių kelis duomenų centrus, palaikymą, be asinchroninio be pagrindinio replikavimo, kuris leidžia visiems klientams atlikti mažo delsos operacijas.
Norėdami gauti daugiau informacijos, skaitykite mūsų tinklaraščio įrašą .
Kaip „Data Science“ naudoja „Cassandra“?
„Cassandra“ yra & drovi ir drovi paskirstyta duomenų bazė, skirta mažo delsos, didelio pralaidumo paslaugoms, tvarkančioms realaus laiko darbo krūvius, sudarytus iš šimtų atnaujinimų per sekundę ir dešimčių tūkstančių skaitymų per sekundę.
Kasandra Naudojimo atvejis - PROS:
„PROS“ yra „Big Data“ programinės įrangos įmonė, kurios programinėje įrangoje yra receptinė analizė, padedanti klientams analizuoti jų duomenis ir gauti įžvalgų bei patarimų, kaip optimizuoti kainodarą, pardavimus ir pajamų valdymą.
Jie turi realaus laiko paslaugą, kuri apskaičiuoja oro linijų prieinamumą, dinamiškai atsižvelgdama į pajamų kontrolės duomenis ir atsargų lygį, kuris gali pasikeisti daugybę šimtų kartų per sekundę.
Ši paslauga yra užduota kelis tūkstančius kartų per sekundę, o tai reiškia dešimtis tūkstančių duomenų paieškų. Jų vidinis šios paslaugos saugojimo sluoksnis yra „Cassandra“.
Norint rasti realiuoju laiku, PROS suprato, kad reikia:
- Išplatinta talpykla, kuri yra labai prieinama.
- Lengvai keičiamas.
- Su be pagrindinio architektūra.
- Beveik realiu laiku duomenų replikacija net visuose duomenų centruose.
- Tai gali padėti skaityti ir rašyti realiuoju laiku.
PROS įvertino „Cassandra“, palyginti su „Oracle Berkeley DB“, „Oracle Coherence“, „Terracotta“, „Voldemort“ ir „Redis“. Apache Cassandra gana lengvai pateko į sąrašo viršų.
PAMATAI ir Kasandra
- PROS naudoja „Cassandra“ kaip paskirstytą duomenų bazę, skirtą mažo delsos, didelio pralaidumo paslaugoms, kurios tvarko realiuoju laiku atliekamus darbo krūvius, sudarytus iš šimtų atnaujinimų per sekundę ir dešimčių tūkstančių skaitymų per sekundę.
- Pavyzdžiui, jie turi realaus laiko paslaugą, kuri dinamiškai apskaičiuoja oro linijų prieinamumą, atsižvelgdama į pajamų kontrolės duomenis ir atsargų lygį, kuris gali keistis daugybę šimtų kartų per sekundę. Ši paslauga yra užduota kelis tūkstančius kartų per sekundę, o tai reiškia dešimtis tūkstančių duomenų paieškos. Jų vidinis šios paslaugos saugojimo sluoksnis yra „Cassandra“. Kai kuriuose jų „SaaS“ pasiūlymuose „Cassandra“ naudojama kaip pagrindinė parduotuvė, kad būtų galima tvarkyti realaus laiko ir „Hadoop“ pagrįstų paketinių darbo krūvių derinius.
- Kalbėdami apie „Hadoop“ ir „Cassandra“, jie išsineša duomenis iš „Cassandra“ ir įdeda į „Hadoop“ ir vykdo paketinius bei analizinius duomenis, o tada jie grįžta į „Cassandra“. Tai pasiekiama per „Cassandra“ „Hadoop“ integraciją.
- „Hadoop“ užduotys ištraukia duomenis iš „Cassandra“, taiko konkretaus darbo pakeitimus ar analizę ir grąžina duomenis į „Cassandra“. Šiai integracijai jie nenaudoja „Datastax“ (oficialus „Cassandra Maintainer“) įmonės leidimo, tik atvirojo kodo „Hadoop“ diegimą su „Cassandra“.
Duomenų modeliavimas naudojant „Cassandra“:
Norint pakeisti pagrindinės vertės saugyklą kažkuo, galinčiu realiuoju laiku replikuoti ir platinti duomenis, „Dynamo“, BŽŪP teoremos ir galimo nuoseklumo modelio tyrimai rodo, kad „Cassandra“ gana gerai tinka šiam modeliui. Sužinoję daugiau apie duomenų modeliavimo galimybes, palaipsniui einame link duomenų skaidymo.
Jei žmogus ateina iš reliacinės duomenų bazės, kurioje yra stipri ACID semantika, reikia skirti laiko, kad suprastumėte galimo nuoseklumo modelį.
kaip atlikti duomenų bazės testavimą
Labai gerai supraskite Kasandros architektūrą ir tai, ką ji veikia po gaubtu. Naudodami „Cassandra 2.0“ gausite lengvą operaciją ir aktyviklius, tačiau jie nėra tokie patys kaip tradicinės duomenų bazės operacijos, kurias galbūt žinote. Pavyzdžiui, nėra jokių svetimų raktų apribojimų - tai turi spręsti pati. Prieš modeliuojant duomenis su „Cassandra“ ir norint perskaityti visus turimus dokumentus, būtina aiškiai suprasti savo naudojimo atvejus ir prieigos prie duomenų modelius.
Išvada:
„Apache Cassandra“ sparčiai tobulėja ir mes mokomės bei suprantame jos galimybes, ypač duomenų modeliavimo srityje. Mes tai laikome pasirinkta paskirstyta „NoSQL“ duomenų baze, skirta mūsų „Big Data“ paslaugoms ir sprendimams.
„Edureka“ pateikia išsamų norintiems tapti duomenų mokslininku. Kursas apima daugybę „Hadoop“, „R“ ir „Machine Learning“ metodų, apimančių išsamų „Data Science“ tyrimą. „Edureka“ taip pat teikia tai padeda įsisavinti NoSQL duomenų bazes. Šis kursas skirtas suteikti žinių ir įgūdžių tapti sėkmingu „Cassandra“ ekspertu.