Hadoopas, kaip mes visi žinome, yra didelių duomenų plakatas. Kaip programinės įrangos sistema, galinti apdoroti dramblio proporcijas duomenų, Hadoopas pateko į CIO buzzwords sąrašo viršų.
Tačiau beprecedentis atminties kamino padidėjimas suteikė didžiųjų duomenų ekosistemai naują analizės alternatyvą. „MapReduce“ analizės būdas pakeičiamas nauju požiūriu, leidžiančiu analizuoti tiek „Hadoop“ sistemoje, tiek už jos ribų. „Apache Spark“ yra naujas naujas didžiųjų duomenų analizės veidas.
Didžiųjų duomenų entuziastai sertifikavo „Apache Spark“ kaip karščiausią didžiųjų duomenų skaičiavimo variklį pasaulyje. Tai greitai išstumia MapReduce ir Java iš savo pozicijų, o darbo tendencijos atspindi šį pokytį. Remiantis „TypeSafe“ atlikta apklausa, 71% pasaulio „Java“ kūrėjų šiuo metu vertina ar tiria „Spark“, o 35% jų jau pradėjo juo naudotis. „Spark“ ekspertai šiuo metu yra paklausūs, o per ateinančias savaites tikimasi, kad su „Spark“ susijusios darbo galimybės bus tik per stogą.
kaip išvengti aklavietės java
Taigi, kas yra „Apache Spark“, dėl kurios jis pasirodo kiekvieno CIO darbų sąrašo viršuje?
Štai keletas įdomių „Apache Spark“ funkcijų:
- „Hadoop“ integracija - „Spark“ gali dirbti su failais, saugomais HDFS.
- „Spark's Interactive Shell“ - „Spark“ parašyta „Scala“ kalba ir turi savo „Scala“ vertėjo versiją.
- „Spark“ analitinis liuksas - „Spark“ yra įrankiai interaktyviai užklausų analizei, didelio masto grafiko apdorojimui ir analizei bei realaus laiko analizei.
- Elastingi paskirstyti duomenų rinkiniai (RDD) - RDD yra paskirstyti objektai, kuriuos galima talpinti atmintyje, visoje skaičiavimo mazgų grupėje. Tai yra pagrindiniai duomenų objektai, naudojami „Spark“.
- Paskirstyti operatoriai - Be „MapReduce“, yra daugybė kitų operatorių, kuriuos galima naudoti RDD.
Tokios organizacijos kaip NASA, „Yahoo“ ir „Adobe“ įsipareigojo „Spark“. Tai sako Johnas Tripieris, „Databricks“ aljansai ir ekosistemų lyderis: „Didelėms ir mažoms įmonėms„ Apache Spark “pritaikymas neįtikėtinai sparčiai auga įvairiose pramonės šakose, o sertifikuotų žinių turinčių kūrėjų paklausa greitai sekantis pavyzdžiu “. Niekada nebuvo geresnio laiko išmokti kibirkštį, jei turite išsilavinimą „Hadoop“.
„Edureka“ specialiai kuravo „Apache Spark & Scala“ kursus, kuriuos kartu sukūrė realaus gyvenimo pramonės specialistai. Norėdami sužinoti diferencijuotą tiesioginio e. Mokymosi patirtį kartu su svarbiais pramonei projektais, patikrinkite mūsų kursą. Netrukus prasideda naujos partijos, todėl patikrinkite kursą čia: .
Turite mums klausimą? Prašau paminėti tai komentarų skiltyje ir mes su jumis susisieksime.
Susijusios žinutės: