„Apache Drill“, „New Age“ užklausų variklio, gręžimas



Ši „Apache Drill“ mokymo programa suteikia jums visą informaciją, kurios reikia norint pradėti naudoti „Apache Drill“ užklausų variklį, naudojimą su „Hadoop“, „Big Data & Apache Spark“.

„Apache Drill“ yra pirmasis industrijos „SQL Engine“ be schemų. „Drill“ nėra pirmasis pasaulyje užklausų variklis, tačiau tai yra pirmasis, užtikrinantis puikų lankstumo ir greičio balansą. „Drill“ sukurtas taip, kad būtų galima išplėsti iki kelių tūkstančių mazgų ir pateikti užklausą petabaitais duomenų interaktyviu greičiu, kurio reikalauja BI / „Analytics“ aplinka.





Jis gali integruotis su keliais duomenų šaltiniais, tokiais kaip „Hive“, „HBase“, „MongoDB“, failų sistema, „RDBMS“. Be to, „Drill“ gali būti lengvai naudojami tokie įvesties formatai kaip „Avro“, CSV, TSV, PSV, „Parketo“, „Hadoop Sequence“ failai ir daugelis kitų.

Kodėl „Apache Drill“?

Didžiausias „Apache Drill“ privalumas yra tai, kad jis gali atrasti schemą skrisdamas, kai pateikiate užklausą dėl bet kokių duomenų. Be to, jis gali dirbti su jūsų BI įrankiais, tokiais kaip „Tableau“, „Qlikview“, „MicroStrategy“ ir kt., Kad būtų galima geriau analizuoti.



Štai pramonės analitiko citata, kurioje apibendrinama „Apache Drill“ vertė:

„„ Drill “yra ne tik„ SQL-on-Hadoop “. Kalbama apie „SQL“, kuriame beveik nieko nėra, nedelsiant ir be formalumų. “

- Andrew Burst, „Gigaom Research“, 2015 m. Sausio mėn



„Drillbit“ yra „Apache Drill“ demonas, veikiantis kiekviename klasterio mazge. Jis naudoja „ZooKeeper“ visam ryšiui klasteryje ir prižiūri klasterio narystę. Ji yra atsakinga už kliento prašymų priėmimą, užklausų apdorojimą ir rezultatų grąžinimą klientui. Kliento užklausą gaunantis gręžtuvas vadinamas „meistru“. Jis sugeneruoja vykdymo planą, vykdymo fragmentai siunčiami kitiems gręžiniams, vykdantiems klasterį.

Drillbits-Apache-Drill

Dar vienas privalumas yra tai, kad grąžto montavimas ir nustatymas yra gana paprastas. Sužinokime, kaip įdiegti „Apache Drill“.

Pirmas žingsnis - atsisiųsti grąžtų paketą.

kaip naudoti rinkinius java

Komanda: wget https://archive.apache.org/dist/drill/drill-1.5.0/apache-drill-1.5.0.tar.gz

Komanda: degutas -xvf apache-drill-1.5.0.tar.gz

Komanda: ls

Tada nustatykite aplinkos kintamuosius .bashrc faile.

Komanda: sudo gedit .bashrc

eksportuoti DRILL_HOME = / home / edureka / apache-drill-1.5.0

eksportuoti PATH = $ PATH: /home/edureka/apache-drill-1.5.0/bin

Ši komanda atnaujins pakeitimus:

Komanda: šaltinis .bashrc

Dabar eikite į „grill conf“ katalogą ir redaguokite „drill-override.conf“ failą su klasterio ID ir zookeeper pagrindiniu kompiuteriu ir prievadu, mes jį paleisime vietiniame klasteryje.

Komanda: CD apache-drill-1.5.0

Komanda: sudo gedit conf / drill-override.conf

Pagal numatytuosius nustatymus DRILL_MAX_DIRECT_MEMORY bus 8 GB drill-env.sh, ir mes turime jį išsaugoti pagal turimą atmintį.

Komanda: sudo gedit conf / drill-env.sh

Norėdami įdiegti grąžtą tik viename mazge, galite naudoti įterptąjį režimą, kur jis veiks lokaliai. Kai paleisite šią komandą, ji automatiškai paleis „drillbit“ paslaugą.

Komanda: ./dėklas/gręžtuvas

Norėdami patikrinti diegimą, galite paleisti paprastą užklausą.

Komanda: pasirinkite * iš sys.options WHERE type = ‘SYSTEM’ ir pavadinkite kaip „security%“

Norėdami patikrinti „Apache Drill“ žiniatinklio konsolę, turime naršyklėje apsilankyti adresu localhost: 8047.

Užklausą taip pat galite paleisti skirtuke Užklausa.

Norėdami vykdyti gręžimą paskirstytuoju režimu, turite redaguoti sankaupos ID ir pridėti „ZooKeeper“ informaciją į „drill-override.conf“, kaip nurodyta toliau.

Tada kiekviename mazge turime pradėti „ZooKeeper“ paslaugą. Po to jūs turite paleisti kiekvieno mazgo drillbit paslaugą naudodami šią komandą.

Komanda: ./bin/drillbit.sh pradžia

Komanda: jps

Dabar mes naudojame žemiau esančią komandą, kad paleistume gręžimo apvalkalą.

Dabar grupėje galime vykdyti užklausas paskirstytuoju režimu.

Tai pirmasis tinklaraščio įrašas iš dviejų dalių „Apache Drill“ tinklaraščių serijos. Netrukus pasirodys antrasis tinklaraštis serijoje.

Turite mums klausimą? Paminėkite juos komentarų skiltyje ir mes susisieksime su jumis.

Susijusios žinutės:

php įterpti į $ lentelę

Gręžimas „Apache Drill“ 2 dalyje

„Apache Spark Vs Hadoop MapReduce“