„Informatica ETL“ tikslas yra suteikti vartotojams ne tik duomenų iš šaltinių sistemų ištraukimo ir įtraukimo į duomenų saugyklą procesą, bet ir suteikti vartotojams bendrą platformą, kad jie galėtų integruoti savo duomenis iš įvairių platformų ir programų.Dėl to padidėjo paklausa .Prieš kalbėdami apie „Informatica ETL“, pirmiausia supraskime, kodėl mums reikia ETL.
Kodėl mums reikia ETL?
Kiekviena įmonėšiomis dienomis turi apdoroti didelius duomenų rinkinius iš įvairių šaltinių. Šie duomenys turi būti tvarkomi, kad būtų suteikta įžvalga informacija priimant verslo sprendimus. Tačiau dažnai tokie duomenys turi šiuos iššūkius:
- Didelės kompanijos generuoja daug duomenų ir tokia didžiulė duomenų dalis gali būti bet kokio formato. Jie būtų prieinami keliose duomenų bazėse ir daugelyje nestruktūrizuotų failų.
- Šie duomenys turi būti sugretinti, sujungti, palyginti ir priversti veikti kaip vientisa visuma. Tačiau skirtingos duomenų bazės neblogai bendrauja!
- Daugelis organizacijų įdiegė sąsajas tarp šių duomenų bazių, tačiau jos susidūrė su šiais iššūkiais:
- Kiekvienai duomenų bazių porai reikalinga unikali sąsaja.
- Jei pakeisite vieną duomenų bazę, gali tekti atnaujinti daugelį sąsajų.
Žemiau galite pamatyti įvairias organizacijos duomenų bazes ir jų sąveiką:
Įvairios duomenų bazės, kurias naudoja skirtingi organizacijos padaliniai
Skirtinga duomenų bazių sąveika organizacijoje
Kaip matyti aukščiau, organizacija gali turėti įvairias duomenų bazes įvairiuose departamentuose, o sąveika tarp jų tampa sunkiai įgyvendinama, nes jiems reikia sukurti įvairias sąveikos sąsajas. Norint įveikti šiuos iššūkius, geriausias sprendimas yra naudojant Duomenų integravimas kas leistų skirtingų duomenų bazių ir formatų duomenims bendrauti tarpusavyje. Žemiau pateiktas paveikslėlis padeda mums suprasti, kaip duomenų integravimo įrankis tampa bendra sąsaja tarp įvairių duomenų bazių.
Įvairios duomenų bazės, sujungtos per duomenų integravimą
Tačiau duomenų integravimui atlikti yra skirtingi procesai. Tarp šių procesų ETL yra pats optimaliausias, efektyviausias ir patikimiausias procesas. Per ETL vartotojas gali ne tik suvesti duomenis iš įvairių šaltinių, bet ir atlikti įvairias duomenų operacijas prieš saugodamas šiuos duomenis iki galutinio tikslo.
Tarp įvairių rinkoje esančių ETL įrankių „Informatica PowerCenter“ yra pirmaujanti rinkos duomenų integravimo platforma. Išbandžiusi beveik 500 000 platformų ir programų derinių, „Informatica PowerCenter inter“ veikia su kuo platesniu skirtingų standartų, sistemų ir programų spektru. Dabar supraskime „Informatica ETL“ proceso veiksmus.
Informatikos ETL „Informatica“ architektūra „Informatica PowerCenter“ mokymo programa Edureka
Ši „Edureka Informatica“ mokymo programa padės jums išsamiai suprasti ETL pagrindus, naudojant „Informatica Powercenter“.
„Informatica ETL“ proceso žingsniai:
Prieš pereidami prie įvairių „Informatica ETL“ etapų, apžvelkime ETL. ETL, ekstrakcija yra tai, kai duomenys yra gaunami iš vienarūšių ar nevienalyčių duomenų šaltinių, transformacija, kai duomenys transformuojami saugant tinkamu formatu ar struktūra, kad būtų galima pateikti užklausas ir analizę, ir įkėlimas, kai duomenys įkeliami į galutinę tikslinę duomenų bazę, operatyvinė duomenų saugykla, duomenų bazė ar duomenų saugykla. Žemiau pateiktas vaizdas padės suprasti, kaip vyksta „Informatica ETL“ procesas.
ETL proceso apžvalga
Kaip matyti aukščiau, „Informatica PowerCenter“ gali įkelti duomenis iš įvairių šaltinių ir laikyti juos į vieną duomenų saugyklą. Pažvelkime į „Informatica ETL“ proceso etapus.
„Informatica ETL“ procese daugiausia yra 4 žingsniai, dabar juos nuodugniai supraskime:
- Ištraukite arba užfiksuokite
- Šveisti arba valyti
- Transformuoti
- Apkrova ir indeksas
1. Ištraukite arba užfiksuokite: Kaip matyti toliau pateiktame paveikslėlyje, fiksavimas arba ištraukimas yra pirmasis „Informatica ETL“ proceso žingsnis.Tai yra pasirinkto duomenų pogrupio momentinės nuotraukos gavimo iš šaltinio procesas, kurį reikia įkelti į duomenų saugyklą. Momentinė nuotrauka yra tik skaitomas statinis duomenų bazės duomenų vaizdas. Ištraukimo procesas gali būti dviejų tipų:
- Visas ištrauka: Duomenys yra visiškai išgaunami iš šaltinio sistemos ir nereikia stebėti duomenų šaltinio pokyčių nuo paskutinio sėkmingo išskyrimo.
- Papildomas ekstraktas: Tai fiksuos tik pakeitimus, įvykusius po paskutinio pilno ištraukimo.
1 etapas: ištraukite arba užfiksuokite
2. Šveisti arba valyti: Tai yra iš šaltinio gaunamų duomenų valymo procesas, naudojant įvairius modelio atpažinimo ir dirbtinio intelekto metodus, siekiant pagerinti paimtų duomenų kokybę. Paprastai klaidos, tokios kaip rašybos klaidos, klaidingos datos, neteisingas lauko naudojimas, neatitinkantys adresai, trūkstami duomenys, pasikartojantys duomenys, neatitikimaiparyškintas ir tada pataisytas arba pašalintasšiame žingsnyje. Be to, šiame etape atliekamos tokios operacijos kaip dekodavimas, performatavimas, laiko žymėjimas, konvertavimas, raktų generavimas, sujungimas, klaidų aptikimas / registravimas, trūkstamų duomenų nustatymas. Kaip matyti toliau pateiktame paveikslėlyje, tai yra antrasis „Informatica ETL“ proceso žingsnis.
2 etapas: duomenų šveitimas arba valymas
3. Transformuoti: Kaip matyti toliau pateiktame paveikslėlyje, tai yra trečias ir pats svarbiausias „Informatica ETL“ proceso žingsnis. Transformacijos yra operacija, kai duomenys konvertuojami iš šaltinio sistemos formato į Duomenų saugyklos griaučius. Transformacija iš esmės naudojama norint pateikti taisyklių rinkinį, apibrėžiantį duomenų srautą ir tai, kaip duomenys įkeliami į taikinius. Norėdami sužinoti daugiau apie transformaciją, patikrinkite Transformacijos „Informatikoje“ Tinklaraštis.
3 etapas: transformacija
4. Apkrova ir indeksas: Tai yra paskutinis „Informatica ETL“ proceso žingsnis, kaip parodyta žemiau esančiame paveikslėlyje. Šiame etape mes patalpiname transformuotus duomenis į sandėlį ir kuriame duomenų indeksus. Atsižvelgiant į įkėlimo procesą, yra du pagrindiniai duomenų apkrovos tipai:
- Visas krovinys arba biri apkrova :Duomenų įkėlimo procesas, kai tai darome pirmą kartą. Darbas ištraukia visą duomenų kiekį iš šaltinio lentelės ir įkelia į tikslinių duomenų sandėlį pritaikęs reikiamus pertvarkymus. Tai bus vienkartinis darbas, po kurio vien tik pakeitimai bus fiksuojami kaip papildomo išrašo dalis.
- Papildoma apkrova arba Atnaujinti apkrova : Vien modifikuoti duomenys bus atnaujinti taikinyje, o po to - visa apkrova. Pakeitimai bus užfiksuoti lyginant sukurtą ar pakeistą datą su paskutine darbo vykdymo data.Vien modifikuoti duomenys išgaunami iš šaltinio ir bus atnaujinti taikinyje, nedarant įtakos esamiems duomenims.
4 etapas: apkrova ir indeksas
Jei supratote „Informatica ETL“ procesą, dabar galime geriau įvertinti, kodėl „Informatica“ yra geriausias sprendimas tokiais atvejais.
„Informatica ETL“ savybės:
„Informatica“ mums pateikė visas duomenų integravimo ir ETL operacijas „Informatica PowerCenter“ . Pažiūrėkime keletą pagrindinių „Informatica ETL“ bruožų:
- Suteikia galimybę nurodyti daugybę transformavimo taisyklių su GUI.
- Generuokite programas duomenims transformuoti.
- Tvarkykite kelis duomenų šaltinius.
- Palaiko duomenų gavimo, valymo, kaupimo, pertvarkymo, transformavimo ir įkėlimo operacijas.
- Automatiškai generuoja programas duomenų ištraukimui.
- Greitas tikslinių duomenų saugyklų pakrovimas.
Toliau pateikiami keli tipiški scenarijai, kai naudojama „Informatica PowerCenter“:
- Duomenų perkėlimas:
Bendrovė įsigijo naują mokėtinų sumų programą savo sąskaitų skyriui. „PowerCenter“ gali perkelti esamus paskyros duomenis į naują programą. Žemiau pateiktas paveikslėlis padės suprasti, kaip galite naudoti „Informatica PowerCenter“ duomenų perkėlimui. „Informatica PowerCenter“ gali lengvai išsaugoti duomenų kilmę mokesčių, apskaitos ir kitais teisėtai įpareigotais tikslais duomenų perkėlimo proceso metu.
Duomenų perkėlimas iš senesnės apskaitos programos į naują programą
- Programų integravimas:
Tarkime, kad įmonė „A“ perka įmonę „B“. Taigi, norint pasiekti konsolidavimo pranašumų, „B-Company“ atsiskaitymo sistema turi būti integruota į „A-Company“ atsiskaitymo sistemą, kurią lengvai galima padaryti naudojant „Informatica PowerCenter“. Žemiau pateiktas paveikslėlis padės suprasti, kaip galite naudoti „Informatica PowerCenter“ integruodami programas tarp įmonių.
Programų integravimas tarp įmonių
- Duomenų sandėliavimas
Tipiniai duomenų saugyklose reikalingi veiksmai yra šie:
- Daugelio šaltinių informacijos sujungimas analizei atlikti.
- Duomenų perkėlimas iš daugelio duomenų bazių į duomenų saugyklą.
Visus minėtus tipinius atvejus galima lengvai atlikti naudojant „Informatica PowerCenter“. Žemiau matote, kad „Informatica PowerCenter“ naudojama norint sujungti duomenis iš įvairių rūšių duomenų bazių, tokių kaip „Oracle“, „SalesForce“ ir kt., Ir perkelti juos į bendrą „Informatica PowerCenter“ sukurtą duomenų saugyklą.
Duomenys Iš įvairių duomenų bazių, integruotų į bendrą duomenų saugyklą
- Tarpinė programinė įranga
Tarkime, mažmeninės prekybos organizacija naudoja SAP R3 savo mažmeninės prekybos programoms ir SAP BW kaip savo duomenų saugyklą. Tiesioginis ryšys tarp šių dviejų programų neįmanomas dėl ryšio sąsajos trūkumo. Tačiau „Informatica PowerCenter“ gali būti naudojama kaip tarpinė programinė įranga tarp šių dviejų programų. Žemiau esančiame paveikslėlyje galite pamatyti architektūrą, kaip „Informatica PowerCenter“ naudojama kaip tarpinė programinė įranga tarp SAP R / 3 ir SAP BW. Programos iš SAP R / 3 perkelia savo duomenis į ABAP sistemą, kuri tada perkelia juos įSAP pardavimo vieta (POS) ir SAPPaslaugų sąskaitos (BOS). „Informatica PowerCenter“ padeda perkelti duomenis iš šių paslaugų į SAP verslo sandėlį (BW).
„Informatica PowerCenter“ kaip tarpinė programinė įranga SAP mažmeninės prekybos architektūroje
Nors jūs matėte keletą pagrindinių „Informatica ETL“ funkcijų ir tipiškų scenarijų, tikiuosi, kad suprantate, kodėl „Informatica PowerCenter“ yra geriausias įrankis ETL procesui. Pažvelkime dabar į „Informatica ETL“ naudojimo atvejį.
Naudojimo atvejis: dviejų lentelių sujungimas, norint gauti vieną išsamią lentelę
Tarkime, kad savo darbuotojams norite protingai gabenti skyrius, nes padaliniai yra įvairiose vietose. Norėdami tai padaryti, pirmiausia turite žinoti, kuriam skyriui priklauso kiekvienas darbuotojas, ir skyriaus buvimo vietą. Tačiau darbuotojų duomenys saugomi skirtingose lentelėse, todėl jums reikia sujungti departamento duomenis į esamą duomenų bazę su visų darbuotojų duomenimis. Norėdami tai padaryti, pirmiausia įkelsime abi lenteles į „Informatica PowerCenter“, atliksime duomenų šaltinio kvalifikacijos transformaciją ir galiausiai įkelsime išsamią informaciją į tikslinę duomenų bazę..Pradėkime:
1 žingsnis : Atidarykite „PowerCenter Designer“.
Žemiau yra „Informatica PowerCenter Designer“ pagrindinis puslapis.
Dabar prisijunkime prie saugyklos. Jei nesukonfigūravote savo saugyklų arba susidursite su problemomis, galite patikrinti mūsų Tinklaraštis.
2 žingsnis: Dešiniuoju pelės mygtuku spustelėkite savo saugyklą ir pasirinkite prisijungimo parinktį.
Spustelėjus prisijungimo parinktį, būsite paraginti žemiau esančiame ekrane paprašyti saugyklos vartotojo vardo ir slaptažodžio.
Prisijungę prie saugyklos, turite atidaryti savo darbo aplanką, kaip parodyta žemiau:
Būsite paraginti paklausti savo žemėlapio pavadinimo. Nurodykite savo žemėlapio pavadinimą ir spustelėkite Gerai (aš jį pavadinau kaip m-DARBUOTOJAS ).
3 žingsnis: Dabar įkelkime lenteles iš duomenų bazės, pirmiausia prisijunkite prie duomenų bazės. Norėdami tai padaryti, pasirinkite skirtuką Šaltiniai ir parinktį Importuoti iš duomenų bazės, kaip parodyta žemiau:
Spustelėjus Importuoti iš duomenų bazės, būsite paraginti žemiau pateiktame ekrane, kuriame bus paprašyta išsami informacija apie jūsų duomenų bazę, jos prisijungimo vardą ir slaptažodį (aš naudoju „Oracle“ duomenų bazę ir HR vartotoją).
Norėdami prisijungti prie savo duomenų bazės, spustelėkite Prisijungti.
4 žingsnis: Norėčiau prisijungti prie DARBUOTOJAI ir SKYRIUS lenteles, jas išsirenku ir paspaudžiu OK.
Šaltiniai bus matomi jūsų žemėlapių dizainerio darbo srityje, kaip parodyta žemiau.
5 žingsnis: Panašiai įkelkite tikslinę lentelę į žemėlapį.
6 žingsnis: Dabar susiekime šaltinio kvalifikatorių ir tikslinę lentelę. Dešiniuoju pelės mygtuku spustelėkite bet kurią tuščią darbo srities vietą ir pasirinkite Autolink, kaip parodyta žemiau:
Žemiau yra „Autolink“ susietas susiejimas.
7 žingsnis: Kadangi mums reikia susieti abi lenteles su šaltinio kvalifikatoriumi, pasirinkite skyriaus lentelės stulpelius ir nuleiskite jį į šaltinio kvalifikatorių, kaip parodyta žemiau:
Nuveskite stulpelio vertes į šaltinio kvalifikatorių SQ_EMPLOYEES .
Žemiau pateikiamas atnaujintas šaltinio kvalifikatorius.
8 žingsnis: Norėdami redaguoti transformaciją, dukart spustelėkite „Source Qualifier“.
Gausite iššokantį „Redaguoti transformaciją“, kaip parodyta žemiau. Spustelėkite skirtuką Ypatybės.
9 žingsnis: Skirtuke „Ypatybės“ spustelėkite „UserDefined Join“ eilutės lauką Value.
Gausite šį SQL rengyklę:
10 žingsnis: Įveskite EMPLOYEES.DEPARTMENT_ID = DEPARTMENT.DEPARTMENT_ID kaip sąlygą sujungti abi lenteles SQL lauke ir spustelėkite Gerai.
11 žingsnis: Dabar spustelėkite eilutę SQL užklausa, kad sugeneruotumėte prisijungimo SQL, kaip parodyta žemiau:
Jūs gausite šį SQL redaktorių, spustelėkite parinktį Generuoti SQL.
Ši SQL bus sukurta sąlygai, kurią nurodėme ankstesniame žingsnyje. Spustelėkite Gerai.
12 žingsnis: Spustelėkite Taikyti ir Gerai.
Žemiau pateikiamas baigtas kartografavimas.
Baigėme planuoti, kaip duomenys turi būti perduodami iš šaltinio į tikslą. Tačiau tikrasis duomenų perdavimas vis dar neįvyks ir tam turime naudoti „PowerCenter“ darbo eigos dizainą. Vykdant darbo eigą duomenys bus perduodami iš šaltinio į tikslą. Norėdami sužinoti daugiau apie darbo eigą, patikrinkite mūsų „Informatica“ pamoka: darbo eiga Tinklaraštis
13 žingsnis: LDabar mes paleiskite „Workflow Manager“ spustelėdami piktogramą W, kaip parodyta žemiau:
Žemiau yra darbo eigos dizainerio pagrindinis puslapis.
14 žingsnis: Dabar sukursime naują susiejimo darbo eigą. Spustelėkite skirtuką Darbo eiga ir pasirinkite Sukurti parinktį.
Gausite toliau pateiktą iššokantįjį langą. Nurodykite savo darbo eigos pavadinimą ir spustelėkite Gerai.
15 žingsnis : Sukūrus darbo eigą, darbo eigos tvarkyklės darbo srityje gauname pradžios piktogramą.
Dabar pridėkime naują seansą prie darbo srities, kaip parodyta žemiau, spustelėdami seanso piktogramą ir spustelėdami darbo sritį:
Spustelėkite darbo sritį, kad įdėtumėte sesijos piktogramą.
16 žingsnis: Pridėdami seansą turite pasirinkti susiejimą, kurį sukūrėte ir išsaugojote atlikdami pirmiau nurodytus veiksmus. (Aš buvau išsaugojęs jį kaip m-DARBUOTOJĄ).
Žemiau yra darbo sritis pridėjus seanso piktogramą.
17 žingsnis : Dabar, kai sukūrėte naują sesiją, turime ją susieti su pradine užduotimi. Tai galime padaryti spustelėję nuorodos užduoties piktogramą, kaip parodyta žemiau:
Norėdami sukurti nuorodą, pirmiausia spustelėkite piktogramą Pradėti, tada piktogramą Seansas.
Žemiau pateikiama susieta darbo eiga.
18 žingsnis: Dabar, kai baigėme dizainą, pradėkime darbo eigą. Spustelėkite skirtuką Darbo eiga ir pasirinkite parinktį Pradėti darbo eigą.
Darbo eigos tvarkyklė paleidžiant „Workflow Monitor“.
19 žingsnis : Kai pradėsime darbo eigą, „Workflow Manager“ bus automatiškai paleistairleidžia stebėti darbo eigos vykdymą. Žemiau galite pamatyti, kad „Workflow Monitor“ rodo jūsų darbo eigos būseną.
20 žingsnis: Norėdami patikrinti darbo eigos būseną, dešiniuoju pelės mygtuku spustelėkite darbo eigą ir pasirinkite Gauti vykdymo ypatybes, kaip parodyta žemiau:
Pasirinkite „Šaltinio / tikslinės statistikos“ skirtuką.
Žemiau galite pamatyti eilučių, kurios buvo perduotos tarp šaltinio ir taikinio po transformacijos, skaičių.
Taip pat galite patikrinti savo rezultatą tikrindami tikslinę lentelę, kaip parodyta žemiau.
Tikiuosi, kad šis „Informatica ETL“ tinklaraštis buvo naudingas norint suprasti jūsų supratimą apie ETL, naudojant „Informatica“, sąvokas ir sukėlė pakankamai susidomėjimo, kad galėtumėte daugiau sužinoti apie „Informatica“.
Jei jums pasirodė šis tinklaraštis naudingas, taip pat galite peržiūrėti mūsų tinklaraštį „Informatica Tutorial“ , „Informatica“ mokymo programa: supratimas apie „Informatica“ vidų ir „Informatikos transformacijos“: „Informatica PowerCenter“ širdis ir siela . Jei ieškote išsamesnės informacijos apie „Informatica“ sertifikatą, galite patikrinti mūsų tinklaraštį „Informatica“ sertifikatas: viskas, ką reikia žinoti .
virėjas yra orkestravimo įrankis
Jei jau nusprendėte pasirinkti „Informatica“ kaip karjerą, rekomenduočiau pažvelgti į mūsų kurso puslapis. „Informatica“ sertifikavimo mokymai „Edurekoje“ padarys jus „Informatica“ ekspertu per tiesiogines instruktorių vedamas sesijas ir praktinius mokymus, naudojant realaus gyvenimo naudojimo atvejus.