„Pig“ programavimas: sukurkite savo pirmąjį „Apache Pig“ scenarijų

„Pig“ programavimas: sukurkite savo pirmąjį „Apache Pig“ scenarijų

Mūsų , mes dabar sužinosime, kaip sukurti „Apache Pig“ scenarijų. „Apache Pig“ scenarijai naudojami bendrai vykdyti „Apache Pig“ komandų rinkinį. Tai padeda sumažinti laiką ir pastangas, investuotas į kiekvienos komandos rašymą ir vykdymą rankiniu būdu, o tai daroma „Pig“ programavimo metu.Tai taip pat neatsiejama programos dalis .Šis tinklaraštis yra žingsnis po žingsnio vadovas, padėsiantis sukurti pirmąjį „Apache Pig“ scenarijų.

Apache Pig scenarijaus vykdymo režimai

Vietos režimas : „Vietiniu režimu“ kiaulienos scenarijų galite vykdyti vietinėje failų sistemoje. Tokiu atveju jums nereikia saugoti duomenų „Hadoop HDFS“ failų sistemoje, o jūs galite dirbti su pačioje vietinėje failų sistemoje saugomais duomenimis.

„MapReduce“ režimas : „MapReduce“ režime duomenis reikia saugoti HDFS failų sistemoje, o duomenis galite apdoroti „pig“ scenarijaus pagalba.

„Apache Pig“ scenarijus „MapReduce“ režimu

Tarkime, kad mūsų užduotis yra nuskaityti duomenis iš duomenų failo ir rodyti reikiamą turinį terminale kaip išvestį.

Duomenų rinkmenos pavyzdyje yra šie duomenys:

Išsaugokite tekstinį failą pavadinimu „information.txt“

Duomenų rinkmenos pavyzdyje yra penki stulpeliai Pirmas vardas , Pavardė , MobilusNe , Miestas ir Profesija atskirta skirtuko klavišą . Mūsų užduotis yra perskaityti šio failo turinį iš HDFS ir parodyti visus šių įrašų stulpelius.

Norint apdoroti šiuos duomenis naudojant „Pig“, šį failą turėtų būti „Apache Hadoop HDFS“.

Komanda : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka

1 žingsnis: Kiaulės scenarijaus rašymas

Sukurkite ir atidarykite „Apache Pig“ scenarijaus failą redaktoriuje (pvz., „Gedit“).

Komanda : sudo gedit /home/edureka/output.pig

kaip giliai nukopijuoti java

Ši komanda „edureka“ vartotojo namų kataloge sukurs failą „output.pig“.

Parašykime keletą PIG komandų faile output.pig.

A = LOAD '/edureka/information.txt' naudojant PigStorage ('') kaip (FName: chararray, LName: chararray, MobileNo: chararray, City: chararray, Profession: chararray) B = FOREACH A generuoti FName, MobileNo, Profession DUMP B

Išsaugokite ir uždarykite failą.

• Pirmoji komanda įkelia failą „information.txt“ į kintamąjį A su netiesiogine schema (FName, LName, MobileNo, City, Profession).
• Antroji komanda įkelia reikiamus duomenis iš kintamojo A į kintamąjį B.
• Trečioje eilutėje rodomas kintamojo B turinys terminale / konsolėje.

2 žingsnis: Vykdykite „Apache Pig“ scenarijų

Norėdami vykdyti kiaulės scenarijų HDFS režimu, vykdykite šią komandą:

Komanda : pig /home/edureka/output.pig

Baigę vykdymą, peržiūrėkite rezultatą. Šie žemiau pateikti vaizdai rodo rezultatus ir jų tarpinį žemėlapį bei sumažina funkcijas.

Žemiau pateiktame paveikslėlyje parodyta, kad scenarijus buvo sėkmingai įvykdytas.

Žemiau esančiame paveikslėlyje parodytas mūsų scenarijaus rezultatas.

Sveikiname sėkmingai įvykdžius pirmąjį „Apache Pig“ scenarijų!

Dabar jūs žinote, kaip sukurti ir vykdyti „Apache Pig“ scenarijų. Taigi, mūsų kitas tinklaraštis bus, kaip sukurti „Uache“ (vartotojo nustatytas funkcijas) „Apache Pig“ ir vykdykite jį MapReduce / HDFS režimu.

java kaip baigti programą

Dabar, kai sukūrėte ir įvykdėte „Apache Pig Script“, patikrinkite sukūrė patikima internetinė mokymosi įmonė „Edureka“, turinti daugiau nei 250 000 patenkintų besimokančiųjų tinklą visame pasaulyje. „Edureka Big Data Hadoop“ sertifikavimo mokymo kursas padeda besimokantiesiems tapti HDFS, verpalų, „MapReduce“, „Pig“, „Hive“, „HBase“, „Oozie“, „Flume“ ir „Sqoop“ ekspertais, naudojant realaus laiko naudojimo atvejus mažmeninės prekybos, socialinės žiniasklaidos, aviacijos, turizmo, finansų srityse.

Turite mums klausimą? Prašau paminėti tai komentarų skiltyje ir mes su jumis susisieksime.