Jak nainstalovat Kafka?

Kafka je distribuovaná streamovací platforma. Pomáhá při publikování a objednání toků záznamů. Kafka se obvykle používá k vytváření datových potrubí pro přenos dat v reálném čase, které spolehlivě získává data mezi různými systémy a aplikacemi. Může také pomoci při vytváření aplikací pro streamování v reálném čase, které pomáhají při transformaci nebo provádění změn pomocí datových toků. Kafka umožňuje ukládat toky záznamů do různých kategorií zvaných témata. Každý záznam se skládá z klíče, hodnoty a časového razítka. Má čtyři hlavní komponenty, jako je Producer API, Consumer API, Streams API a Connector API. Používá protokol TCP, který je dobrou komunikací mezi klienty a servery s vysokým výkonem. Při instalaci Kafky lze postupovat podle následujících kroků.

Nainstalujte Kafka na Windows OS

Při instalaci Kafky na Windows postupujte následovně:

Krok 1. Stáhněte si Zookeeper z následujícího odkazu: HTTP: //zookeeper.apache.org/releases.html

Po dokončení si stáhněte Kafka z následujícího odkazu: http://kafka.apache.org/downloads.html

Stáhněte si také JRE podle operačního systému a architektury CPU z odkazu níže: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

Krok 2. Nastavení JDK-

Spusťte instalaci JRE a poté zaškrtněte políčko „Změnit cílovou složku“. Nyní klikněte na Instalovat.

Po dokončení změňte adresář na libovolnou cestu bez mezer v názvu složky.

Krok 3. Po dokončení otevřete proměnné prostředí z Ovládacích panelů -> Systém -> Pokročilá nastavení systému -> Proměnné prostředí.

Krok 4. Na kartě Uživatelská proměnná klikněte na Nová uživatelská proměnná a do názvu proměnné zadejte JAVA_HOME. V části Proměnná hodnota zadejte cestu JRE. Mělo by to být níže:

Krok 5. Nyní klikněte na OK.

Krok 6. Vyhledejte proměnnou cesty v části „Systémová proměnná“ v otevřeném dialogovém okně „Proměnná prostředí“.

Krok 7. Upravte cestu a zadejte „;% JAVA_HOME% \ bin“ na konec již napsaného textu, stejně jako obrázek níže:

Krok 8. Chcete-li zkontrolovat, zda je Java správně nainstalována, přejděte do příkazového řádku a zadejte příkaz „java - version“. Na obrazovce se zobrazí verze nainstalované Java.

Pokud vidíte výše uvedené podrobnosti na příkazovém řádku, jste v pořádku ze strany Java.

Jakmile je nainstalována Java, můžete se přesunout a dokončit nastavení Zookeeperu.

Chcete-li nainstalovat Zookeeper do vašeho systému, postupujte takto:

Otevřete adresář, kde je konfigurační adresář Zookeeper. Může to být C: \ zookeeper-3.4.7 \ conf.
Nyní přejmenujte soubor „zoo_sample.cfg“ na „cfg“
Otevřete tento přejmenovaný soubor v programu Poznámkový blok.
Vyhledejte a upravte následující údaje: dataDir = / tmp / zookeeper na \ zookeeper-3.4.7 \ data
Stejně jako jsme přidali proměnnou prostředí pro Javu, přidejte proměnnou prostředí pro Zookeeper.
Nastavit cestu proměnné systému jako: dataDir = / tmp / zookeeper na: \ zookeeper-3.4.7 \ data
Upravte systémovou proměnnou s názvem „Cesta“ a přidejte; % ZOOKEEPER_HOME% \ bin;
Výchozí port pro Zookeeper je 2181, který lze změnit na jakýkoli jiný port tak, že přejdete do souboru zoo.cfg.
Spusťte Zookeeper otevřením nového cmd a napište 'zkserver'. Uvidíte níže uvedené podrobnosti.

Jakmile uvidíte tuto obrazovku, měli byste si být jisti, že Zookeeper byl úspěšně nainstalován.

Nastavení Kafky

Jakmile máte ve svém systému spuštěnou Javu a Zookeeper, můžete pokračovat v nastavení Kafky.

Přejděte do adresáře config Kafka.
Upravte soubor „server.properties“.
Jakmile to provedete, můžete najít a upravit řádek, kde vidíte: dirs = / tmp / kafka-logs na „log.dir = C: \ kafka_2.11-0.9.0.0 \ kafka-logs
Pokud máte zařízení Zookeeper spuštěno na jiném počítači, můžete tuto cestu změnit na „zookeeper.connect: 2181“ na přizpůsobenou adresu IP a ID portu.
Výchozí port pro Kafka je port 9092 a pro připojení k Zookeeper je 2181.

Spuštění serveru Kafka

Po dokončení počátečního nastavení můžete snadno spustit server Kafka

Před spuštěním serveru Kafka je třeba zajistit, aby instance Zookeeper byla funkční.

1. Přejděte do instalačního adresáře Kafka: C: /kafka_2.11-0.9.0.0

2. Otevřete příkazový řádek a stiskněte Shift + pravé kliknutí a vyberte možnost „Otevřít příkazové okno zde“.

3. Nyní zadejte. \ Bin \ windows \ kafka-server-start.bat. \ Config \ server.properties a stiskněte klávesu Enter.

Jakmile to spustíte a vše je v pořádku, měla by obrazovka vypadat takto:

4. Nyní je váš server Kafka funkční. Můžete si vytvořit vlastní témata pro ukládání různých zpráv. Po dokončení můžete vytvářet a spotřebovávat data z kódu Java nebo Scala nebo přímo spouštět z příkazového řádku.

Nainstalujte Kafka na Linux

Nainstalujte Kafka v systému Linux podle následujících pokynů:

Krok 1. Stáhněte a extrahujte binární soubory Kafka a ukládejte je do adresářů.

Krok 2. Rozbalte stažený archiv pomocí příkazu tar.

Krok 3. Chcete-li nakonfigurovat Kafka, přejděte na server.properties. Otevřete tento soubor pomocí příkazu nano a do dolní části souboru přidejte následující.

nano ~/Kafka/config/server.properties

delete.topic.enable = true

Krok 4. Po dokončení bude uživatel muset vytvořit soubory systémové jednotky pro služby Kafka. To pomáhá při provádění běžných servisních akcí, jako je spouštění, zastavování a restartování Kafka konzistentním způsobem s ostatními službami Linux. Zookeeper je služba, kterou Kafka používá k řízení svého clusteru a konfigurací.

Krok 5. Chcete-li vytvořit soubor jednotky pro Zookeeper, postupujte následovně:

sudo nano /etc/systemd/system/zookeeper.service

Krok 6. Po vytvoření tohoto souboru zookeeper vložte do něj níže:

(Unit) Requires=network.target remote-fs.target After=network.target remotefs.target (Service) Type=simple User=kafka ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal (Install) WantedBy=multi-user.target

Tato část (Jednotka) zde specifikuje, že Zookeeper vyžaduje, aby byl síťový a souborový systém připraven ještě před spuštěním.

Sekce (Service) informuje systém, že pro spuštění a zastavení služeb jsou k dispozici soubory zookeeper-server-start.sh a zookeeper-server-stop.sh.

Krok 7. Nyní by měl uživatel vytvořit systémový soubor pro Kafka, jak je uvedeno níže:
sudo nano /etc/system/system/Kafka.service

Krok 8. Do tohoto souboru vložte níže:

(Unit) Requires=zookeeper.service After=zookeeper.service (Service) Type=simple User=kafka ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1' ExecStop=/home/kafka/kafka/bin/kafka-server-stop.shRestart=on-abnormal (Install) WantedBy=multi-user.target

Zde (Unit) určuje, že soubor jednotky závisí na zookeeper.service. Tím je zajištěno, že zookeeper je spuštěn před spuštěním Kafky.

Krok 9. Nyní musíte povolit Kafka a restartovat server. Spustit: sudo systemctl povolit Kafka

Krok 10. Testování instalace:

Svou instalaci Kafka můžete vyzkoušet vytvořením tématu a jeho publikováním spotřebitelům.

Vytvořte téma : ~ / Kafka / bin / Kafka-topics.sh –create –zookeeper localhost: 2181 –replication-factor 1 –partitions 1 –topic TutorialTopic

Zveřejnění tohoto uživatele může vytvořit výrobce a spotřebitele a poté zveřejnit všechna data ke konkrétním tématům.

Doporučené články

Toto byl průvodce instalací Kafky. Zde jsme diskutovali různé kroky k instalaci Kafky na Windows a Linux. Další informace naleznete také v následujících článcích -

Krok k instalaci Java 8
Jak nainstalovat C
Průvodce instalací Ruby
Aplikace Kafka
JRE vs JVM | 8 hlavních rozdílů s (infografika)

Jak nainstalovat Kafka? - Průvodce instalací Kafky na Windows a Linux

Obsah: