Hva er Apache Kafka og hvordan fungerer det?

I denne leksjonen vil vi se hva som er Apache Kafka, og hvordan fungerer det sammen med noen av de vanligste brukssakene.  Apache Kafka ble opprinnelig utviklet på LinkedIn i 2010 og flyttet til å bli et topp-nivå Apache-prosjekt i 2012. Den har tre hovedkomponenter:

• Utgiver-abonnent: Denne komponenten er ansvarlig for å administrere og levere data effektivt på tvers av Kafka-noder og forbrukerapplikasjoner som skalerer mye (som bokstavelig talt).
• Koble API: Connect API er den mest nyttige funksjonen for Kafka og tillater Kafka-integrering med mange eksterne datakilder og datasinker.
• Kafka bekker: Ved å bruke Kafka Streams kan vi vurdere å behandle innkommende data i stor skala i nærmest sanntid.

Vi vil studere mange flere Kafka-konsepter i kommende seksjoner. La oss gå videre.

Apache Kafka-konsepter

Før vi graver dypere, må vi være grundige om noen konsepter i Apache Kafka. Her er vilkårene vi burde vite, veldig kort:

• • Produsent: Dette er et program som sender melding til Kafka
  • Forbruker: Dette er et program som bruker data fra Kafka
  • Beskjed: Data som sendes av produsentsøknad til forbrukerapplikasjon gjennom Kafka
  • Forbindelse: Kafka oppretter TCP-forbindelse mellom Kafka-klyngen og applikasjonene
  • Emne: Et emne er en kategori som sendte data er merket til og levert til interesserte forbrukerapplikasjoner
  • Emnepartisjon: Ettersom et enkelt emne kan få mye data på en gang, for å holde Kafka horisontalt skalerbar, er hvert emne delt inn i partisjoner, og hver partisjon kan leve på hvilken som helst nodemaskin i en klynge. La oss prøve å presentere det:

Emnepartisjoner

• Kopier: Som vi studerte ovenfor at et emne er delt inn i partisjoner, replikeres hver meldingspost på flere noder i klyngen for å opprettholde rekkefølgen og dataene til hver post i tilfelle en av noden dør.
• Forbrukergrupper: Flere forbrukere som er interessert i det samme emnet, kan holdes i en gruppe som kalles en forbrukergruppe
• Offset: Kafka er skalerbart da det er forbrukerne som faktisk lagrer hvilken melding som ble hentet av dem sist som en "offset" -verdi. Dette betyr at for det samme emnet kan Forbruker A's forskyvning ha en verdi på 5, noe som betyr at den trenger å behandle den sjette pakken neste, og for Forbruker B kan forskyvningsverdien være 7, noe som betyr at den må behandle den åttende pakken. Dette fjernet avhengigheten av selve emnet for lagring av denne metadata relatert til hver forbruker.
• Node: En node er en enkelt servermaskin i Apache Kafka-klyngen.
• Klynge: En klynge er en gruppe noder i.e., en gruppe servere.

Konseptet for emne, emnepartisjoner og offset kan også gjøres tydelig med en illustrerende figur:

Emnedeling og forbrukerforskyvning i Apache Kafka

Apache Kafka som meldingssystem for publiser abonnement

Med Kafka publiserer produsentapplikasjonene meldinger som kommer til en Kafka-node og ikke direkte til en forbruker. Fra denne Kafka-noden konsumeres meldinger av forbrukerapplikasjonene.

Kafka produsent og forbruker

Ettersom et enkelt emne kan få mye data på en gang, for å holde Kafka horisontalt skalerbar, er hvert emne delt inn i skillevegger og hver partisjon kan leve på hvilken som helst node-maskin i en klynge.

Igjen holder Kafka Broker ikke oversikt over hvilken forbruker som har konsumert hvor mange pakker med data. Det er den forbrukernes ansvar for å holde oversikt over data den har brukt. På grunn av at Kafka ikke holder rede på bekreftelser og meldinger fra hver enkelt forbrukerapplikasjon, kan den håndtere mange flere forbrukere med ubetydelig innvirkning på gjennomstrømningen. I produksjonen følger mange applikasjoner til og med et mønster av batchforbrukere, noe som betyr at en forbruker konsumerer alle meldingene i en kø med jevne mellomrom.

Installasjon

For å begynne å bruke Apache Kafka, må den være installert på maskinen. For å gjøre dette, les Installer Apache Kafka på Ubuntu.

Brukssak: Sporing av bruk av nettsteder

Kafka er et utmerket verktøy som skal brukes når vi trenger å spore aktivitet på et nettsted. Sporingsdataene inkluderer og er ikke begrenset til sidevisninger, søk, opplastinger eller andre handlinger brukerne kan utføre. Når en bruker er på et nettsted, kan brukeren ta et hvilket som helst antall handlinger når han / hun surfer gjennom nettstedet.

For eksempel når en ny bruker registrerer seg på et nettsted, kan aktiviteten spores i hvilken rekkefølge utforsker en ny bruker funksjonene til et nettsted, hvis brukeren angir profilen etter behov eller foretrekker å hoppe direkte til funksjonene i nettsted. Når brukeren klikker på en knapp, samles metadataene for den knappen i en datapakke og sendes til Kafka-klyngen hvorfra analysetjenesten for applikasjonen kan samle inn disse dataene og gi nyttig innsikt i de relaterte dataene. Hvis vi ønsker å dele oppgavene i trinn, er det hvordan prosessen vil se ut:

1. En bruker registrerer seg på et nettsted og går inn i dashbordet. Brukeren prøver å få tilgang til en funksjon med en gang ved å samhandle med en knapp.
2. Nettapplikasjonen konstruerer en melding med denne metadata til en emnepartisjon av emnet "klikk".
3. Meldingen legges til kommitteringsloggen og forskyvningen økes
4. Forbrukeren kan nå hente meldingen fra Kafka Megler og vise bruk av nettsteder i sanntid og vise tidligere data hvis den tilbakestiller offset til en mulig tidligere verdi

Bruk sak: Meldingskø

Apache Kafka er et utmerket verktøy som kan fungere som erstatning for meldingsmeglerverktøy som RabbitMQ. Asynkrone meldinger hjelper til med å koble fra applikasjonene og skaper et svært skalerbart system.

Akkurat som begrepet mikrotjenester, i stedet for å bygge en stor applikasjon, kan vi dele opp applikasjonen i flere deler, og hver del har et veldig spesifikt ansvar. På denne måten kan de forskjellige delene også skrives på helt uavhengige programmeringsspråk! Kafka har innebygd partisjonerings-, replikasjons- og feiltoleransesystem som gjør det bra som et stort meldingsmeglersystem.

Nylig er Kafka også sett på som en veldig god løsning for loggsamling som kan administrere megler for loggfilsamling og gi disse filene til et sentralt system. Med Kafka er det mulig å generere en hvilken som helst hendelse du vil at andre deler av applikasjonen din skal vite om.

Bruker Kafka på LinkedIn

Det er interessant å merke seg at Apache Kafka tidligere ble sett på og brukt som en måte som datarørledninger kunne gjøres konsistente og gjennom hvilke data ble inntatt i Hadoop. Kafka fungerte utmerket når flere datakilder og destinasjoner var til stede, og det var ikke mulig å gi en egen rørprosess for hver kombinasjon av kilde og destinasjon. LinkedIn's Kafka-arkitekt, Jay Kreps, beskriver dette kjente problemet godt i et blogginnlegg:

Mitt eget engasjement i dette startet rundt 2008 etter at vi hadde sendt nøkkelverdibutikken vår. Mitt neste prosjekt var å prøve å få et fungerende Hadoop-oppsett i gang, og flytte noen av våre anbefalingsprosesser dit. Med liten erfaring på dette området, budsjetterte vi naturlig nok noen uker for å få inn og ut data, og resten av tiden vår for å implementere fancy prediksjonsalgoritmer. Så begynte et langt slag.

Apache Kafka og Flume

Hvis du flytter ut for å sammenligne disse to på grunnlag av funksjonene deres, finner du mange vanlige funksjoner. Her er noen av dem:

• Det anbefales å bruke Kafka når du har flere applikasjoner som bruker data i stedet for Flume, som er spesielt laget for å integreres med Hadoop og bare kan brukes til å innta data i HDFS og HBase. Flume er optimalisert for HDFS-operasjoner.
• Med Kafka er det en ulempe å måtte kode produsentene og forbrukerapplikasjonene, mens det i Flume har mange innebygde kilder og vasker. Dette betyr at hvis eksisterende behov samsvarer med Flume-funksjonene, anbefales det at du bruker Flume selv for å spare tid.
• Flume kan konsumere data under flyging ved hjelp av avlyttere. Det kan være viktig for datamaskering og filtrering, mens Kafka trenger et eksternt strømbehandlingssystem.
• Det er mulig for Kafka å bruke Flume som forbruker når vi trenger å innta data til HDFS og HBase. Dette betyr at Kafka og Flume integrerer veldig bra.
• Kakfa og Flume kan garantere null datatap med riktig konfigurasjon som også er enkel å oppnå. For å påpeke, replikerer ikke Flume hendelser, noe som betyr at hvis en av Flume-nodene mislykkes, vil vi miste tilgang til hendelsen til disken er gjenopprettet

Konklusjon

I denne leksjonen så vi på mange konsepter om Apache Kafka. Les flere Kafka-baserte innlegg her.