Šiandieniniame pasaulyje duomenys yra pagrindinis ingredientas interneto programų ir paprastai apima:
- Puslapio apsilankymai ir paspaudimai
- Vartotojo veikla
- Įvykiai, atitinkantys prisijungimus
- Socialinių tinklų veikla, pvz., „Patinka“, bendrinimai ir komentarai
- Konkrečios programos metrika (pvz., Žurnalai, puslapio įkėlimo laikas, našumas ir kt.)
Tai duomenys gali būti naudojami analizei vykdyti realiuoju laiku tarnauja įvairiems tikslams, kai kurie iš jų yra:
- Reklamos pristatymas
- Nenormalaus vartotojo elgesio stebėjimas
- Paieškos rodymas pagal aktualumą
- Rodomos rekomendacijos pagal ankstesnę veiklą
Problema: Surinkti visus duomenis nėra lengva, nes duomenys generuojami iš įvairių šaltinių įvairiais formatais
Sprendimas: Vienas iš būdų išspręsti šią problemą yra pranešimų sistemos naudojimas. Pranešimų sistemos užtikrina sklandžią paskirstytų programų integraciją pranešimų pagalba.
Apache Kafka:
„Apache Kafka“ yra išplatinta viešųjų prenumeratų pranešimų sistema, kuri iš pradžių buvo sukurta „LinkedIn“ ir vėliau tapo „Apache“ projekto dalimi. „Kafka“ yra greita, judri, keičiama ir paskirstoma pagal dizainą.
„Kafka“ architektūra ir terminologija:
Tema: Pranešimų srautas, priklausantis tam tikrai kategorijai, vadinamas tema
Gamintojas: Gamintojas gali būti bet kuri programa, galinti paskelbti pranešimus tema
Vartotojas: Vartotojas gali būti bet kuri programa, užsiprenumeravusi temas ir vartojanti pranešimus
Brokeris: „Kafka“ klasteris yra serverių rinkinys, kiekvienas iš jų vadinamas brokeriu
„Kafka“ yra keičiamo dydžio ir leidžia kurti kelių tipų grupes.
- Vieno mazgo vieno brokerio grupė
- Vieno mazgo kelių brokerių grupė
- Keli mazgai Kelių brokerių klasteris
Vieno mazgo vienas brokeris
Koks yra „ZooKeeper“ vaidmuo?
Kiekvienas „Kafka“ brokeris derinasi su kitais „Kafka“ brokeriais, naudodamas „ZooKeeper“. Gamintojams ir vartotojams „ZooKeeper“ tarnyba praneša apie naujų brokerių buvimą ar brokerio nesėkmę sistemoje „Kafka“.
Vieno mazgo keli brokeriai
Keli mazgai Keli brokeriai
Kafka @ LinkedIn
„LinkedIn Newsfeed“ teikia „Kafka“
„LinkedIn“ rekomendacijas teikia „Kafka“
„LinkedIn“ pranešimus teikia „Kafka“
Pastaba: Be to, „LinkedIn“ naudoja „Kafka“ daugeliui kitų užduočių, tokių kaip žurnalo stebėjimas, našumo metrika, paieškos tobulinimas ir kt.
Kas dar naudoja „Kafka“?
„DataSift“: „DataSift“ naudoja „Kafka“ kaip stebėjimo įvykių rinkėją ir stebi vartotojų duomenų srautų suvartojimą realiuoju laiku
Wooga: „Wooga“ naudoja „Kafka“, kad kauptų ir apdorotų visų savo „Facebook“ žaidimų (prieglobos pas įvairius tiekėjus) stebėjimo duomenis centrinėje vietoje.
Kempinė „Spongecell“ naudoja „Kafka“, kad vykdytų visą analizę ir stebėsenos planą, valdantį tiek realaus laiko, tiek ETL programas
Loggly: „Loggly“ yra populiariausias pasaulyje debesų žurnalų tvarkymas. Rąstų rinkimui ji naudoja „Kafka“.
Lyginamasis tyrimas: „Kafka“ ir „ActiveMQ“ prieš „RabbitMQ“
„Kafka“ turi efektyvesnį saugyklos formatą. Vidutiniškai kiekvieno pranešimo pridėtinė vertė yra 9 baitai „Kafka“, palyginti su 144 baitais „ActiveMQ“.
kas yra span žymė HTML
Tiek „ActiveMQ“, tiek „RabbitMQ“ brokeriai palaiko kiekvieno pranešimo pristatymo būseną rašydami į diską, tačiau „Kafka“ atveju nėra disko rašymo, todėl jis tampa greitesnis.
Plačiai pritaikius „Kafka“ gamyboje, tai atrodo perspektyvus sprendimas sprendžiant realaus pasaulio problemas. „Apache Kafka“ mokymai gali padėti aplenkti savo bendraamžius realiojo laiko analitikų karjeroje. Pradėkite naudoti „Apache Kafka“ mokymo programą čia .
Turite mums klausimą? Prašau paminėti tai komentarų skiltyje ir mes su jumis susisieksime.
Susijusios žinutės: