Kafkan asennus: 4 vaihetta

2024 Kirjoittaja: John Day | [email protected]. Viimeksi muokattu: 2024-01-30 09:01

Johdanto:

Apache Kafka on avoimen lähdekoodin skaalautuva ja suuritehoinen viestijärjestelmä, jonka on kehittänyt Scalassa kirjoitettu Apache Software Foundation. Apache Kafka on suunniteltu erityisesti siten, että yksittäinen klusteri voi toimia keskeisen datan selkärangina suuressa ympäristössä. Sillä on paljon suurempi suorituskyky verrattuna muihin viestinvälitysjärjestelmiin, kuten ActiveMQ ja RabbitMQ. Se pystyy käsittelemään suuria määriä reaaliaikaista dataa tehokkaasti. Voit ottaa Kafkan käyttöön yhdellä Apache -palvelimella tai hajautetussa klusteroidussa ympäristössä.

Ominaisuudet:

Kafkan yleiset ominaisuudet ovat seuraavat:

Pysyvä viesti levyllä, joka tarjoaa jatkuvan suorituskyvyn.

Suuri suorituskyky levyrakenteilla, jotka tukevat satoja tuhansia viestejä sekunnissa.

Hajautettu järjestelmä skaalautuu helposti ilman seisokkeja.

Tukee useita tilaajia ja tasapainottaa automaattisesti kuluttajat epäonnistumisen aikana.

Tämä opetusohjelma näyttää kuinka Apache Kafka asennetaan ja määritetään Ubuntu 16.04 -palvelimelle.

Vaatimukset

Ubuntu 16.04 -palvelin.

Ei-pääkäyttäjätili, jolla on pääkäyttäjän oikeudet palvelimellesi.

Vaihe 1: Aloittaminen ja Javan asennus

1) Aloitetaan varmistaaksesi, että Ubuntu 16.04 -palvelimesi on täysin ajan tasalla

Voit päivittää palvelimesi suorittamalla seuraavat komennot:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Javan asentaminen

Tarkista seuraavalla komennolla, onko koneessa jo asennettu java tai oletusversio:-

java -versio

Vaikka sinulla olisi java, mutta alempi versio, sinun on päivitettävä se.

Voit asentaa Javan seuraavasti:-

sudo apt-get install default-jdk

TAI

Voit asentaa Oracle JDK 8: n Webupd8 -tiimin PPA -arkiston avulla.

Jos haluat lisätä arkiston, suorita seuraava komento:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

Vaihe 2: Asenna Zookeeper

Mikä on Zookeeper?

Zookeeper on keskitetty palvelu kokoonpanotietojen ylläpitämiseen, nimeämiseen, hajautetun synkronoinnin ja ryhmäpalvelujen tarjoamiseen. Kaikki tällaiset palvelut ovat jossain muodossa käytössä hajautetuissa sovelluksissa. Joka kerta kun ne toteutetaan, tehdään paljon työtä korjaamaan virheet ja väistämättömät kilpa -olosuhteet. Koska tällaisten palveluiden toteuttaminen on vaikeaa, sovellukset aluksi yleensä säästävät niitä, mikä tekee niistä hauraita muutoksen edessä ja vaikeita hallita. Vaikka nämä palvelut toteutettaisiin oikein, näiden sovellusten erilaiset toteutukset johtavat monimutkaisuuteen hallinnassa sovellusten käyttöönoton yhteydessä.

Ennen kuin asennat Apache Kafkan, sinulla on oltava käytettävissä eläintarhan ylläpitäjä. ZooKeeper on avoimen lähdekoodin palvelu kokoonpanotietojen ylläpitoon, hajautetun synkronoinnin, nimeämisen ja ryhmäpalvelujen tarjoamiseen.

1) Oletuksena Zookeeper -paketti on saatavana Ubuntun oletusvarastoista

Voit asentaa sen suorittamalla seuraavan komennon:-

sudo apt-get install zookeeperd

Kun asennus on valmis, se käynnistyy automaattisesti demonina. Oletuksena Zookeeper toimii portissa 2181.

Voit testata sen suorittamalla seuraavan komennon:

netstat -ant | grep: 2181

Lähdön pitäisi näyttää, että porttia 2181 kuunnellaan.

Vaihe 3: Asenna ja käynnistä Kafka Server

Nyt kun Java ja ZooKeeper on asennettu, on aika ladata ja purkaa Kafka Apachen verkkosivustolta.

1) Voit ladata curlingin tai wgetin Kafkan lataamiseen: (Kafka -versio 0.10.1.1)

Lataa kafka-asennus suorittamalla seuraava komento:-

curl -O

TAI

wget

2) Luo Kafkan hakemisto

Luo seuraavaksi hakemisto Kafka -asennusta varten:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Pura ladattu kansio

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Vaihda käyttäjänimi käyttäjänimesi mukaan

4) Käynnistä kafka -palvelin

Seuraava vaihe on käynnistää Kafka-palvelin, voit käynnistää sen suorittamalla komentosarjan kafka-server-start.sh, joka sijaitsee hakemistossa /opt/kafka/kafka_2.11-0.10.1.1/bin/ käyttämällä seuraavaa komentoa:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Tarkista, toimiiko Kafka -palvelin hyvin

Sinulla on nyt Kafka -palvelin käynnissä ja kuuntelemassa portissa 9092.

Nyt voimme tarkistaa kuunteluportit:

- Eläintarhanhoitaja: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Vaihe 4: Testaa Kafka -palvelimesi

Nyt on aika tarkistaa, että Kafka -palvelin toimii oikein.

1) Luo uusi aihe

Voit testata Kafkaa luomalla esimerkkiteeman nimeltä "testaus" Apache Kafkassa käyttämällä seuraavaa komentoa:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh-luo --optinen testaus --zookeeper localhost: 2181-osiot 1-selityskerroin 1

2) Tarkista, onko aiheesi luotu onnistuneesti

Pyydä nyt Zookeeperiä luettelemaan Apache Kafkan saatavilla olevat aiheet suorittamalla seuraava komento:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Julkaise viesti luomallasi aiheella

echo "hei maailma" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-välittäjäluettelo paikallinen isäntä: 9092 --aiheinen testaus

4) Vastaanota luotua aihetta koskeva viesti

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh-Bootstrap-server localhost: 9092-aiheen testaus-alusta alkaen

5) Tiedoston lähettäminen käyttämällä kafkaa aiheen yli

kafka-console-producer.sh-välittäjäluettelo localhost: 9092-aiheen testaus