„Big Data“ pastaruoju metu buvo pakankamai pakerėta, kaip kvalifikuoti specialistai, turintys žinių apie tai. Neišnaudoti savo pagrindinių įgūdžių ir pradėti nuo nulio yra ne visada lengvas darbas. Tačiau naudodamiesi savo kvadratiniais pjūviais ir prisitaikydami prie atšokėlių padarysite stebuklų. Bingo, mes kalbame apie „Big Data“ mokymąsi naudojant ETL technologiją.
ETL kūrėjai, kuriantys duomenų transformavimo darbo eigą, gali labai gerai naudoti įrankius ir versti darbo srautus į „Hadoop“ užduotis. „Hadoop“ yra atviro kodo sistema, plačiai naudojama „BigData“ apdoroti naudojant „MapReduce“ programą (kuri yra dar viena atviro kodo technologija, padedanti apdoroti didelius „Hadoop“ duomenų kiekius). Dažniausiai sunku rasti kvalifikuotų išteklių „Big Data“.
Jei ETL kūrėjas banko svetainėje turi rasti daugiau nei milijoną užklausų pateikusius IP adresus, jis turi parašyti „MapReduce“ užduotį, kuri apdoroja „Hadoop“ saugomus interneto žurnalo duomenis. . Tačiau tobulėjant ETL technologijai, darbo kūrėjas gali naudoti standartinius ETL projektavimo įrankius kurdamas ETL srautą, kuris gali skaityti duomenis iš kelių „Hadoop“ šaltinių („Files“, „Hive“, „HBase“), prisijungti, kaupti, filtruoti ir transformuoti duomenis. rasti atsakymą į užklausą dėl IP adresų.
„Talend“ yra vienintelis grafinės vartotojo sąsajos įrankis, kuris gali pakankamai išversti ETL užduotį į „MapReduce“ užduotį. Taigi „Talend ETL“ darbas bus vykdomas kaip „MapReduce“ darbas „Hadoop“ ir didelių duomenų darbas bus atliktas per kelias minutes. Tai yra pagrindinė naujovė, padedanti sumažinti „Big Data“ technologijos patekimo į rinką kliūtis ir leidžianti ETL darbo kūrėjams (pradedantiesiems ir pažengusiems) labiau atlikti „Data Warehouse“ iškrovimą.
Gyvenimas „Big Data“ mieste yra daug lengvesnis su „Talend“
didelių duomenų pamoka pradedantiesiems
Grafinis abstrakcijos sluoksnis ant „Hadoop“ programų - tai labai palengvina gyvenimą „Big Data“ pasaulyje.
„Talend“ pasakojama: „Atsižvelgdama į mūsų, kaip atviro kodo duomenų integravimo novatoriaus ir lyderio, istoriją,„ Talend “yra pirmasis tiekėjas, pasiūlęs gryno atvirojo kodo sprendimą, didelių duomenų integracija . „Talend Open Studio for Big Data“, sukurdama lengvai naudojamą grafinę kūrimo aplinką ant galingų „Hadoop“ programų, leidžia didelių duomenų valdymas prieinama daugiau įmonių ir daugiau kūrėjų nei bet kada anksčiau.
Naudodama užtemimu pagrįstą grafinę darbo sritį, „Talend Open Studio for Big Data“ leidžia kūrėjui ir duomenų mokslininkui panaudoti „Hadoop“ pakrovimo ir apdorojimo technologijas, tokias kaip HDFS, HBase, Hive ir Pig, nereikalaujant rašyti. „Hadoop“ programa kodas. Paprasčiausiai pasirinkdami grafinius komponentus iš paletės, juos sutvarkydami ir konfigūruodami, galite sukurti „Hadoop“ užduotis. Pavyzdžiui:
- Įkelkite duomenis į HDFS („Hadoop“ paskirstytą failų sistemą)
- Naudokite Hadoopas kiaulė transformuoti duomenis į HDFS
- Įkelkite duomenis į a Hadoopo avilys duomenų saugykla
- Atlikite ELT (ištraukite, įkelkite, transformuokite) agregatus avilyje
- Svertas Sqoop integruoti reliacines duomenų bazes ir „Hadoop“
„Hadoop“ programos, sklandžiai integruotos per kelias minutes naudojant „Talend“.
Kad „Hadoop“ programos būtų tikrai prieinamos jūsų organizacijai, jas reikia sklandžiai integruoti į bendrus jūsų duomenų srautus. „Talend Open Studio“, skirta dideliems duomenims yra idealus įrankis integruoti „Hadoop“ programas į platesnę duomenų architektūrą. „Talend“ pateikia daugiau integruotų jungčių komponentų nei bet kuris kitas duomenų integravimo sprendimas, turintis daugiau nei 800 jungčių kurie leidžia lengvai skaityti arba rašyti į bet kurį pagrindinį failo formatą, duomenų bazę ar supakuotą įmonės programą. Pavyzdžiui, „Talend Open Studio for Big Data“ galite naudoti konfigūruojamus „drag & n drop“ komponentus, kad sukurtumėte duomenų integravimo srautus, kurie perkelia duomenis iš atskirtų žurnalo failų į „Hadoop Hive“, atlieka operacijas „Hive“ ir išgauna duomenis iš „Hive“ į „MySQL“ duomenų bazę. (arba „Oracle“, „Sybase“, „SQL Server“ ir pan.).
Norite sužinoti, kaip lengva gali būti dirbti su pažangiausiomis „Hadoop“ programomis?
Nereikia laukti - „Talend Open Studio for Big Data“ yra atviro kodo programinė įranga, kurią galima nemokamai atsisiųsti ir naudoti pagal „Apache“ licenciją.
Kalbėkės mieste
Talendas buvo aVizionierius stebuklingame duomenų integravimo įrankių kvadranteNuo 2009 m. jie taip pat pasirodė kaip duomenų kokybės ir MDM srities pradininkai, taip pat visi ingredientai, skirti virti fantastišką „Big Data“ patiekalą.
Jie teigia, kad: „Didelių duomenų integracija padidina jūsų organizacijos našumą ir mastelį 45 proc.“.
Tik „Talend 5.5“ (ir naujesnė) leidžia kūrėjams generuoti didelio našumo „Hadoop“ kodą, net jei jie nėra „MapReduce“ ar „Pig“ ekspertai.
Praėjus keliems mėnesiams, viename iš „Talend“ straipsnių buvo rašoma: „Hadoop priėmimas sparčiai didėja, o didelės ir mažos įmonės stengiasi rasti pakankamai žinių turinčių„ Hadoop “kūrėjų, kad patenkintų šią augančią paklausą“. Tik „Talend 5.5“ leidžia bet kuriam duomenų integravimo kūrėjui naudoti vizualinio kūrimo aplinką, kad būtų sukurtas natūralus, didelio našumo ir labai keičiamo dydžio „Hadoop“ kodas. Tai atveria daugybę plėtros išteklių, kurie dabar gali prisidėti prie didžiųjų duomenų projektų. Be to, „Talend“ išlieka pažangiausiose naujose „Hadoop“ naujovėse, kurios leidžia didelių duomenų analizės projektams valdyti klientų sąveiką realiuoju laiku.
java kaip baigti programą
„Talend for Big Data“ gali padėti suprasti organizacijas renkant duomenų rinkinius iš nevienalyčių šaltinių sistemų - tokių kaip trečiosios šalys, API ir socialinių tinklų kanalai - ir paverčiant tuos duomenis vaizdiniu visiško kliento kelionės vaizdu.
Nesvarbu, ar tai būtų bankų pramonė, farmacija, elektroninė prekyba, draudimas - „Talend“ gali bet kokiu mastu integruoti duomenis, lengvai derindama juos su „Hadoop“, kuri yra pati pažangiausia technologija, tenkinanti dabarties ir ateities poreikius.
Naudokite dėklus aplink pasaulį
Pradedant rinkodaros kampanija, baigiant klientų aptarnavimu bankų pramonėje ir baigiant sukčiavimo nustatymu, dideli duomenys yra visur.
Vieno atvirojo kodo leidime yra daugiau nei 800 ir daugiau jungčių, todėl teigiama, kad tai yra didžiausia plačiausiai palaikoma platforma, prie kurios galima prisijungti ir prie ko galima prisijungti.
Keičiantis modeliui ir suderinus su „NoSQL“, „Open Source“, „Hadoop“, logiškiausias sprendimas tiems, kurie tvarko duomenis bet kokia forma ir bet kada, yra „Big Data“ ir „ETL“ stiliaus naudojimas naudojant „Talend“.
Apibendrinant galima pasakyti, kad ETL įrankiai toli gražu nėra pasyvūs. Jie yra pagrindiniai „Big Data“ ekosistemos elementai ir vaidina svarbų vaidmenį įgalinant duomenų analizę.
def __init__ pitonas
Štai kodėl „Talend“ šviečia teigdamas „Nulis dideliems duomenims be kodavimo, per 10 minučių“.
Turite mums klausimą? Paminėkite juos komentarų skiltyje ir mes susisieksime su jumis.
Susijusios žinutės: