Sette opp Kafka: 4 trinn

2024 Forfatter: John Day | [email protected]. Sist endret: 2024-01-30 11:23

Introduksjon:

Apache Kafka er et skalerbart system med åpen kildekode og høy gjennomstrømming meldingssystem utviklet av Apache Software Foundation skrevet i Scala. Apache Kafka er spesielt designet for å la en enkelt klynge fungere som den sentrale dataryggraden for et stort miljø. Den har en mye høyere gjennomstrømning sammenlignet med andre meldingsmeglersystemer som ActiveMQ og RabbitMQ. Den er i stand til å håndtere store mengder sanntidsdata effektivt. Du kan distribuere Kafka på en enkelt Apache -server eller i et distribuert gruppert miljø.

Funksjoner:

De generelle egenskapene til Kafka er som følger:

Vedvarende melding på disk som gir konstant tidsytelse.

Høy gjennomstrømning med diskstrukturer som støtter hundretusenvis av meldinger per sekund.

Distribuert system skaleres enkelt uten nedetid.

Støtter flerabonnenter og balanserer automatisk forbrukerne under feil.

Denne opplæringen viser hvordan du installerer og konfigurerer Apache Kafka på en Ubuntu 16.04 -server.

Krav

En Ubuntu 16.04 server.

Ikke-rot brukerkonto med superbrukerrettighet satt opp på serveren din.

Trinn 1: Komme i gang og installere Java

1) La oss begynne å sørge for at Ubuntu 16.04 -serveren din er fullt oppdatert

Du kan oppdatere serveren din ved å kjøre følgende kommandoer:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Installere Java

Kontroller om maskinen din har java som allerede er installert eller har en standardversjon av java med følgende kommando:-

java -versjon

Selv om du har java, men en lavere versjon, må du oppgradere den.

Du kan installere Java ved å:-

sudo apt-get install default-jdk

ELLER

Du kan installere Oracle JDK 8 ved hjelp av Webupd8 -teamets PPA -depot.

For å legge til depotet, kjør følgende kommando:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

Trinn 2: Installer Zookeeper

Hva er Zookeeper?

Zookeeper er en sentralisert tjeneste for å opprettholde konfigurasjonsinformasjon, navngi, tilby distribuert synkronisering og tilby gruppetjenester. Alle disse tjenestene brukes i en eller annen form av distribuerte applikasjoner. Hver gang de blir implementert, er det mye arbeid som skal til for å fikse feil og løpsforhold som er uunngåelige. På grunn av vanskeligheten med å implementere slike tjenester, sparer applikasjoner vanligvis først på dem, noe som gjør dem sprø i nærvær av endringer og vanskelige å administrere. Selv når de gjøres riktig, fører forskjellige implementeringer av disse tjenestene til administrasjonskompleksitet når applikasjonene distribueres.

Før du installerer Apache Kafka, må du ha dyrepasser tilgjengelig og kjøre. ZooKeeper er en åpen kildekode -tjeneste for å opprettholde konfigurasjonsinformasjon, tilby distribuert synkronisering, navngi og tilby gruppetjenester.

1) Som standard er Zookeeper -pakken tilgjengelig i Ubuntu standardlager

Du kan installere den ved å kjøre følgende kommando:-

sudo apt-get install zookeeperd

Når installasjonen er fullført, starter den automatisk som en demon. Som standard vil Zookeeper kjøre på port 2181.

Du kan teste det ved å kjøre følgende kommando:

netstat -ant | grep: 2181

Utgangen skal vise deg at port 2181 blir lyttet til.

Trinn 3: Installer og start Kafka Server

Nå som Java og ZooKeeper er installert, er det på tide å laste ned og trekke ut Kafka fra Apache -nettstedet.

1) Du kan bruke curl eller wget for å laste ned Kafka: (Kafka versjon 0.10.1.1)

Kjør følgende kommando for å laste ned kafka-oppsettet:-

curl -O

ELLER

wget

2) Lag en katalog for Kafka

Deretter lager du en katalog for Kafka -installasjon:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Pakk ut den nedlastede mappen

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Endre brukernavn i henhold til brukernavnet ditt

4) Start kafka -serveren

Det neste trinnet er å starte Kafka-serveren, du kan starte den ved å kjøre kafka-server-start.sh-skriptet som ligger i /opt/kafka/kafka_2.11-0.10.1.1/bin/-katalogen ved å bruke følgende kommando:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Sjekk om Kafka Server fungerer bra

Du har nå en Kafka -server som kjører og lytter på port 9092.

Nå kan vi sjekke lytteporter:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Trinn 4: Test Kafka -serveren din

Nå er det på tide å kontrollere at Kafka -serveren fungerer som den skal.

1) Lag et nytt emne

For å teste Kafka, opprett et eksempelemne med navnet "testing" i Apache Kafka ved å bruke følgende kommando:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost: 2181 --partisjoner 1 --replikasjonsfaktor 1

2) Sjekk om emnet ditt ble opprettet

Be nå Zookeeper om å liste opp tilgjengelige emner på Apache Kafka ved å kjøre følgende kommando:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Publiser en melding ved hjelp av emnet du opprettet

ekko "hei verden" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-meglerliste lokal vert: 9092-emnetesting

4) Motta meldingen om emnet som er opprettet

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 --topic testing –frå-begynnelsen

5) For å sende en fil ved hjelp av kafka over et emne

kafka-console-producer.sh-meglerliste lokal vert: 9092 –testetesting