Apache Kafka: naujos kartos paskirstytoji pranešimų sistema

„Apache Kafka“ teikia didelio pralaidumo ir keičiamo dydžio susirašinėjimo sistemas, todėl yra populiari tikralaikėje analizėje. Sužinokite, kaip „Apache kafka“ mokymo programa gali jums padėti

Šiandieniniame pasaulyje duomenys yra pagrindinis ingredientas interneto programų ir paprastai apima:





  • Puslapio apsilankymai ir paspaudimai
  • Vartotojo veikla
  • Įvykiai, atitinkantys prisijungimus
  • Socialinių tinklų veikla, pvz., „Patinka“, bendrinimai ir komentarai
  • Konkrečios programos metrika (pvz., Žurnalai, puslapio įkėlimo laikas, našumas ir kt.)

Tai duomenys gali būti naudojami analizei vykdyti realiuoju laiku tarnauja įvairiems tikslams, kai kurie iš jų yra:

  • Reklamos pristatymas
  • Nenormalaus vartotojo elgesio stebėjimas
  • Paieškos rodymas pagal aktualumą
  • Rodomos rekomendacijos pagal ankstesnę veiklą

Problema: Surinkti visus duomenis nėra lengva, nes duomenys generuojami iš įvairių šaltinių įvairiais formatais



Sprendimas: Vienas iš būdų išspręsti šią problemą yra pranešimų sistemos naudojimas. Pranešimų sistemos užtikrina sklandžią paskirstytų programų integraciją pranešimų pagalba.

apache-kafka-next-generation-distributed-messaging-system

Apache Kafka:



„Apache Kafka“ yra išplatinta viešųjų prenumeratų pranešimų sistema, kuri iš pradžių buvo sukurta „LinkedIn“ ir vėliau tapo „Apache“ projekto dalimi. „Kafka“ yra greita, judri, keičiama ir paskirstoma pagal dizainą.

„Kafka“ architektūra ir terminologija:

Tema: Pranešimų srautas, priklausantis tam tikrai kategorijai, vadinamas tema

Gamintojas: Gamintojas gali būti bet kuri programa, galinti paskelbti pranešimus tema

Vartotojas: Vartotojas gali būti bet kuri programa, užsiprenumeravusi temas ir vartojanti pranešimus

Brokeris: „Kafka“ klasteris yra serverių rinkinys, kiekvienas iš jų vadinamas brokeriu

„Kafka“ yra keičiamo dydžio ir leidžia kurti kelių tipų grupes.

  • Vieno mazgo vieno brokerio grupė
  • Vieno mazgo kelių brokerių grupė
  • Keli mazgai Kelių brokerių klasteris

Vieno mazgo vienas brokeris

Koks yra „ZooKeeper“ vaidmuo?

Kiekvienas „Kafka“ brokeris derinasi su kitais „Kafka“ brokeriais, naudodamas „ZooKeeper“. Gamintojams ir vartotojams „ZooKeeper“ tarnyba praneša apie naujų brokerių buvimą ar brokerio nesėkmę sistemoje „Kafka“.

Vieno mazgo keli brokeriai

Keli mazgai Keli brokeriai

Kafka @ LinkedIn

„LinkedIn Newsfeed“ teikia „Kafka“

„LinkedIn“ rekomendacijas teikia „Kafka“

„LinkedIn“ pranešimus teikia „Kafka“

Pastaba: Be to, „LinkedIn“ naudoja „Kafka“ daugeliui kitų užduočių, tokių kaip žurnalo stebėjimas, našumo metrika, paieškos tobulinimas ir kt.

Kas dar naudoja „Kafka“?

„DataSift“: „DataSift“ naudoja „Kafka“ kaip stebėjimo įvykių rinkėją ir stebi vartotojų duomenų srautų suvartojimą realiuoju laiku

Wooga: „Wooga“ naudoja „Kafka“, kad kauptų ir apdorotų visų savo „Facebook“ žaidimų (prieglobos pas įvairius tiekėjus) stebėjimo duomenis centrinėje vietoje.

Kempinė „Spongecell“ naudoja „Kafka“, kad vykdytų visą analizę ir stebėsenos planą, valdantį tiek realaus laiko, tiek ETL programas

Loggly: „Loggly“ yra populiariausias pasaulyje debesų žurnalų tvarkymas. Rąstų rinkimui ji naudoja „Kafka“.

Lyginamasis tyrimas: „Kafka“ ir „ActiveMQ“ prieš „RabbitMQ“

„Kafka“ turi efektyvesnį saugyklos formatą. Vidutiniškai kiekvieno pranešimo pridėtinė vertė yra 9 baitai „Kafka“, palyginti su 144 baitais „ActiveMQ“.

kas yra span žymė HTML

Tiek „ActiveMQ“, tiek „RabbitMQ“ brokeriai palaiko kiekvieno pranešimo pristatymo būseną rašydami į diską, tačiau „Kafka“ atveju nėra disko rašymo, todėl jis tampa greitesnis.

Plačiai pritaikius „Kafka“ gamyboje, tai atrodo perspektyvus sprendimas sprendžiant realaus pasaulio problemas. „Apache Kafka“ mokymai gali padėti aplenkti savo bendraamžius realiojo laiko analitikų karjeroje. Pradėkite naudoti „Apache Kafka“ mokymo programą čia .

Turite mums klausimą? Prašau paminėti tai komentarų skiltyje ir mes su jumis susisieksime.

Susijusios žinutės:

Ko reikia karjerai analizuojant realiuoju laiku