Šiame įraše aš kalbėsiu apie „Apache Pig“ diegimas „Linux“ . Pradėkime nuo pagrindinio Apache Pig ir Pig Latin apibrėžimo.
Apache Pig yra įrankis / platforma, skirta sukurti ir vykdyti „Map Reduce“ programą, naudojamą kartu su „Hadoop“. Tai įrankis / platforma, skirta analizuoti didelius duomenų rinkinius. Galite pasakyti, kad „Apache Pig“ yra „MapReduce“ abstrakcija. Programuotojai, kurie ne taip gerai moka „Java“, stengėsi dirbti su „Hadoop“, daugiausia rašydami „MapReduce“ darbus.Taigi, tai yra svarbi tema, kurią reikia išmokti ir įvaldyti .Apache Pig turi savo kalbą Kiaulė lotynų kas yra prasta vargšams programuotojams.
Pagrindinis „Pig Latin“ įvadas padės geriau suprasti:
Vadinama aukšto lygio procedūrinė kalba, naudojama „Apache Pig“ platformoje Kiaulė lotynų . „Apache Pig“ turi „Pig Latin“ kalbą, kuri yra palyginti paprastesnė kalba, kuria galima paleisti paskirstytus duomenų rinkinius Hadoop failų sistemoje (HDFS). „Apache Pig“ turite parašyti „Pig“ scenarijus naudodamiesi „Pig“ lotynų kalba, kuri konvertuojama į „MapReduce“ užduotį, kai paleisite „Pig“ scenarijų. „Apache Pig“ turi įvairius operatorius, kurie naudojami tokioms užduotims atlikti kaip skaitymas, rašymas, duomenų apdorojimas. Norėdami sužinoti apie „Apache Pig“ operatorius, eikite į mūsų tinklaraštį “ „Apache Pig“ operatoriai: 1 dalis. Ryšio operatoriai “.
Dabar, kai turite pagrindinį supratimą apie „Apache Pig“, pradėkime nuo „Apache Pig“ diegimo „Linux“.
„Apache Pig“ diegimas „Linux“:
Toliau pateikiami „Apache Pig“ diegimo „Linux“ veiksmai („ubuntu / centos“ / „Windows“ naudojant „Linux VM“). Žemiau esančioje sąrankoje naudoju „Ubuntu 16.04“.
1 žingsnis: parsisiųsti Kiaulė degutas failą.
Komanda: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
2 žingsnis: Ištraukite degutas failą naudodami tar komandą. Žemiau dervos komandoje x reiškia archyvo failo išrašą, su reiškia filtruoti archyvą per gzip, f reiškia archyvo bylos pavadinimą.
Komanda: degutas -xzf pig-0.16.0.tar.gz
Komanda: ls
darbo ieškotojas ir užduočių vykdytojas hadoope
3 žingsnis: Redaguoti .bashrc “Failą, kad atnaujintumėte„ Apache Pig “aplinkos kintamuosius. Mes ją nustatome taip, kad galėtume pasiekti kiaulę iš bet kurio katalogo, mums nereikia eiti į kiaulių katalogą vykdyti kiaulių komandas. Be to, jei bet kuri kita programa ieško kiaulės, ji iš šio failo sužinos „Apache Pig“ kelią.
Komanda: sudo gedit .bashrc
Failo pabaigoje pridėkite:
# Nustatykite PIG_HOME
eksportuoti PIG_HOME = / home / edureka / pig-0.16.0
eksportuoti PATH = $ PATH: /home/edureka/pig-0.16.0/bin
eksportuoti PIG_CLASSPATH = $ HADOOP_CONF_DIR
Be to, įsitikinkite, kad nustatytas ir „hadoop“ kelias.
Paleiskite žemiau esančią komandą, kad pakeitimai būtų atnaujinti tame pačiame terminale.
Komanda: šaltinis .bashrc
4 žingsnis: Patikrinkite kiaulės versiją. Tai yra bandymas, kad „Apache Pig“ būtų tinkamai įdiegta. Jei negavote „Apache Pig“ versijos, turite patikrinti, ar tinkamai atlikote pirmiau nurodytus veiksmus.
Komanda: kiaulė -versija
5 žingsnis :Patikrinkite kiaulių pagalbą, kad pamatytumėte visas kiaulių komandos parinktis.
geriausias „Java“ kūrimo ideas
Komanda: kiaulė -pagalba
6 žingsnis :Paleiskite Kiaulę, kad paleistumėte niurzgimo kiautą. „Grunt“ apvalkalas naudojamas „Pig“ lotynų rašmenims paleisti.
Komanda: kiaulė
Jei teisingai pažvelgsite į aukščiau pateiktą vaizdą, „Apache Pig“ turi du režimus, kuriais ji gali veikti, pagal numatytuosius nustatymus ji pasirenka „MapReduce“ režimą. Kitas režimas, kuriuo galite paleisti „Pig“, yra vietinis režimas. Leiskite man papasakoti apie tai daugiau.
„Apache Pig“ vykdymo režimai:
- „MapReduce“ režimas - Tai yra numatytasis režimas, kuriam reikia prieigos prie „Hadoop“ sankaupos ir HDFS diegimo. Kadangi tai yra numatytasis režimas, nebūtina nurodyti žymos -x (galite vykdyti kiaulė ARBA pig -x mapreduce ). Šiame režime įvestis ir išvestis yra HDFS.
- Vietos režimas - Turint prieigą prie vienos mašinos, visi failai yra įdiegiami ir vykdomi naudojant vietinį pagrindinį kompiuterį ir failų sistemą. Čia vietinis režimas nurodomas naudojant „-x flag“ ( pig -x vietinis ). Šiuo režimu įvestis ir išvestis yra vietinėje failų sistemoje.
Komanda: pig -x vietinis
fibonacci rekursinis c ++
Galite peržiūrėti žemiau pateiktą vaizdo įrašą, kad galėtumėte peržiūrėti „Apache Pig“ diegimą „Linux“:
„Apache Pig“ diegimas | Kiaulienos diegimas „Linux“ Edureka
Dabar, kai baigsite „Apache Pig“ diegimą „Linux“ sistemoje, kitas žingsnis į priekį yra išbandyti kai kuriuos kiaulinius „Pig“ operatorius „Pig Grunt“ apvalkale. Taigi, kitas tinklaraštis „ „Apache Pig“ operatoriai: 1 dalis. Ryšio operatoriai “Padės jums įvaldyti kiaulių operatorius.
Dabar, kai įdiegėte „Apache Pig“ į „Linux“, patikrinkite sukūrė patikima internetinė mokymosi įmonė „Edureka“, turinti daugiau nei 250 000 patenkintų besimokančiųjų tinklą visame pasaulyje. „Edureka Big Data Hadoop“ sertifikavimo mokymo kursas padeda besimokantiesiems tapti HDFS, verpalų, „MapReduce“, „Pig“, „Hive“, „HBase“, „Oozie“, „Flume“ ir „Sqoop“ ekspertais, naudojant realaus laiko naudojimo atvejus mažmeninės prekybos, socialinės žiniasklaidos, aviacijos, turizmo, finansų srityse.
Turite mums klausimą? Prašau paminėti tai komentarų skiltyje ir mes su jumis susisieksime.