Opsætning af Kafka: 4 trin

2024 Forfatter: John Day | [email protected]. Sidst ændret: 2024-01-30 08:27

Introduktion:

Apache Kafka er et skalerbart og højtydende messaging-system med open source udviklet af Apache Software Foundation skrevet i Scala. Apache Kafka er specielt designet til at tillade en enkelt klynge at fungere som den centrale dataryg i et stort miljø. Det har en meget højere gennemløb sammenlignet med andre meddelelsesmæglersystemer som ActiveMQ og RabbitMQ. Det er i stand til effektivt at håndtere store mængder data i realtid. Du kan implementere Kafka på en enkelt Apache -server eller i et distribueret klynge -miljø.

Funktioner:

De generelle træk ved Kafka er som følger:

Vedvarende besked på disk, der giver konstant tidsydelse.

Høj kapacitet med diskstrukturer, der understøtter hundredtusinder af meddelelser pr. Sekund.

Distribueret system skaleres let uden nedetid.

Understøtter multi-abonnenter og balancerer automatisk forbrugerne under fejl.

Denne vejledning viser, hvordan du installerer og konfigurerer Apache Kafka på en Ubuntu 16.04 -server.

Krav

En Ubuntu 16.04 server.

Ikke-root brugerkonto med superbrugerrettighed oprettet på din server.

Trin 1: Kom godt i gang og installer Java

1) Lad os begynde at sikre, at din Ubuntu 16.04 -server er fuldt opdateret

Du kan opdatere din server ved at køre følgende kommandoer:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Installation af Java

Kontroller, om din maskine har java, der allerede er installeret eller har en java-standardversion med følgende kommando:-

java -version

Selvom du har java, men en lavere version, skal du opgradere den.

Du kan installere Java ved at:-

sudo apt-get install default-jdk

ELLER

Du kan installere Oracle JDK 8 ved hjælp af Webupd8 -teamets PPA -lager.

For at tilføje depotet skal du køre følgende kommando:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

Trin 2: Installer Zookeeper

Hvad er Zookeeper?

Zookeeper er en centraliseret service til vedligeholdelse af konfigurationsoplysninger, navngivning, distribution af synkronisering og levering af gruppetjenester. Alle disse former for tjenester bruges i en eller anden form af distribuerede applikationer. Hver gang de implementeres, er der meget arbejde, der går med at reparere fejl og løbebetingelser, der er uundgåelige. På grund af vanskeligheden ved at implementere denne slags tjenester sparer applikationer i første omgang normalt på dem, hvilket gør dem skøre i nærvær af ændringer og vanskelige at administrere. Selv når de udføres korrekt, fører forskellige implementeringer af disse tjenester til ledelseskompleksitet, når applikationerne implementeres.

Inden du installerer Apache Kafka, skal du have en zooeeper til rådighed og køre. ZooKeeper er en open source -service til vedligeholdelse af konfigurationsoplysninger, distribution af synkronisering, navngivning og levering af gruppetjenester.

1) Som standard er Zookeeper -pakken tilgængelig i Ubuntu's standardlager

Du kan installere det ved at køre følgende kommando:-

sudo apt-get install zookeeperd

Når installationen er færdig, startes den automatisk som en dæmon. Som standard kører Zookeeper på port 2181.

Du kan teste det ved at køre følgende kommando:

netstat -ant | grep: 2181

Udsatsen skal vise dig, at der bliver lyttet til port 2181.

Trin 3: Installer og start Kafka Server

Nu hvor Java og ZooKeeper er installeret, er det tid til at downloade og udtrække Kafka fra Apache -webstedet.

1) Du kan bruge curl eller wget til at downloade Kafka: (Kafka version 0.10.1.1)

Kør følgende kommando for at downloade kafka-opsætningen:-

curl -O

ELLER

wget

2) Opret et bibliotek til Kafka

Opret derefter et bibliotek til Kafka -installation:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Pak den downloadede mappe ud

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Skift brugernavn i henhold til dit brugernavn

4) Start kafka -serveren

Det næste trin er at starte Kafka server, du kan starte den ved at køre kafka-server-start.sh script placeret på /opt/kafka/kafka_2.11-0.10.1.1/bin/ bibliotek ved hjælp af følgende kommando:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Kontroller, om Kafka -serveren fungerer godt

Du har nu en Kafka -server, der kører og lytter på port 9092.

Nu kan vi kontrollere lytteporte:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Trin 4: Test din Kafka -server

Nu er det tid til at kontrollere, at Kafka -serveren fungerer korrekt.

1) Opret et nyt emne

For at teste Kafka skal du oprette et prøveemne med navnet "test" i Apache Kafka ved hjælp af følgende kommando:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --opret --topic testing --zookeeper localhost: 2181 --partitions 1 --replikationsfaktor 1

2) Kontroller, om dit emne blev oprettet

Bed nu Zookeeper om at liste tilgængelige emner om Apache Kafka ved at køre følgende kommando:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Publicer en besked ved hjælp af det emne, du har oprettet

ekko "hej verden" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-mæglerliste localhost: 9092-topisk test

4) Modtag beskeden om det oprettede emne

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092-topisk test –fra-begyndelse

5) At sende en fil ved hjælp af kafka over et emne

kafka-console-producer.sh-mæglerliste localhost: 9092 –topic testing