Úvod do Kafka Tools
Kafka Tools je kolekce různých nástrojů, pomocí kterých můžeme spravovat náš Kafka Cluster. Nástroje jsou většinou založeny na příkazovém řádku, ale jsou k dispozici i nástroje založené na uživatelském rozhraní, které lze stáhnout a nainstalovat.
Můžeme použít nástroje Kafka pro provádění různých operací, jako jsou:
- Seznam dostupných skupin Kafka a jejich makléřů, témat a spotřebitelů.
- Lze tisknout zprávy z různých témat ve standardním výstupu. Nástroje založené na uživatelském rozhraní mohou určitě poskytnout lepší čitelnost.
- Přidejte a přetáhněte témata od makléřů.
- Přidejte nové zprávy do oddílů.
- Podívejte se na všechny kompenzace našich zákazníků.
- Vytvořte oddíly našich témat.
- Seznam všech skupin spotřebitelů, popis skupin spotřebitelů, odstranění informací o skupině spotřebitelů a resetování kompenzací skupin spotřebitelů.
Pokud chceme použít nástroj založený na uživatelském rozhraní, můžeme použít nástroj Kafka Tool, který si můžete stáhnout z následující webové stránky:
http://www.kafkatool.com/download.html
Tato aplikace je k dispozici zdarma pro osobní použití, ale musíme si zakoupit licenci pro komerční použití. Dobrá věc na tom je jeho dostupnost pro Mac, Windows a Linux systémy.
Top 3 typy nástrojů Kafka
Nástroje Kafka jsou rozděleny do systémových nástrojů a aplikačních nástrojů.
1. Systémové nástroje
Systémové nástroje lze spustit pomocí následující syntaxe.
Syntax:
bin/kafka-run-class.sh package.class - - options
Některé ze systémových nástrojů jsou následující:
- Kafka Migration Tool: Tento nástroj se používá pro migraci Kafka Broker z jedné verze do druhé.
- Consumer Offset Checker: Tento nástroj umožňuje zobrazit skupinu zákazníků, téma, oddíly, offset, logSize, vlastníka pro zadanou sadu témat a skupinu spotřebitelů.
- Mirror Maker: Tento nástroj se používá pro zrcadlení jednoho clusteru Kafka do druhého.
2. Replikační nástroje
Jedná se v podstatě o návrhové nástroje na vysoké úrovni zajišťující trvanlivost a dostupnost.
Některé z replikačních nástrojů jsou:
- Vytvořit nástroj pro vytváření témat : Tento nástroj se používá k vytváření témat s výchozím počtem oddílů a faktorem replikace.
- Seznam Téma Nástroj: Slouží k výpisu informací pro daný seznam témat. Skvělá věc tohoto nástroje je, že pokud na příkazovém řádku již není k dispozici žádné téma, požádá Zookeeper, aby nejprve načíst seznam témat a poté o nich vytiskl informace. Uvádí různá pole, jako je Název tématu, oddíly, Leader, Repliky atd.
- Add Partition Tool: Tento nástroj se používá k přidání oddílů do tématu, které je vyžadováno pro zvládnutí růstu objemu dat v daném tématu. Ale všimněte si, že při vytváření tématu musíme určit oddíly. Tento nástroj nám umožňuje přidat ruční repliky pro přidané oddíly.
3. Různé nástroje
Nyní pojďme diskutovat o několika různých nástrojích:
A. Kafka-Topics Tool
Tento nástroj se používá k vytváření, seznamu, změně a popisu témat.
Příklad: Vytvoření tématu: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic topic_name --partitions 30 --replication-factor 3 --config x=y
b. Kafka-Console-Consumer Tool
Tento nástroj lze použít ke čtení dat z témat Kafky a jejich zápisu na standardní výstup
Příklad: bin/kafka-console-consumer --zookeeper zk01.example.com:8080 --topic topic_name>/code>
C. Nástroj Kafka-konzola-výrobce
Tento nástroj lze použít k zápisu dat do Kafka Topic ze standardního výstupu.
Příklad: bin/kafka-console-producer --broker-list kafka03.example.com:9091 --topic topic_name
d. Nástroj Kafka-spotřebitelské skupiny
Tento nástroj lze použít k výpisu všech skupin spotřebitelů, k popisu skupiny spotřebitelů, k odstranění informací o skupinách spotřebitelů nebo k resetování offsetů skupin spotřebitelů. Tento nástroj se používá hlavně k popisu skupin spotřebitelů a k ladění problémů s kompenzací zákazníků.
Příklad: Zobrazení posunů v nezabezpečeném klastru: bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name
Kafka Architecture
Různé součásti nástrojů Kafka
Hlavní složky Kafky jsou následující:
1. Broker
Každý uzel v clusteru Kafka je zprostředkovatelem, který ukládá data. Obvykle existuje více makléřů, aby se zátěž správně vyvážila. Zprostředkovatel ukládá zprávy ve formě témat, ke kterým mají přístup producenti (pro psaní) a spotřebitelé (pro čtení). Témata jsou vytvářena k oddělení dat jedné aplikace od druhé. Protože jsou makléři bez státní příslušnosti, potřebují Zookeeperovu pomoc, aby si udrželi svůj stav klastru. Jeden zprostředkovatel dokáže zpracovat zprávy TB bez jakéhokoli dopadu na výkon. Volba vůdce makléře Kafky provádí Zookeeper.
2. Výrobce
Je to jednotka, která tlačí zprávy do makléřů. Může existovat více výrobců, kteří vytvářejí data velmi vysokou rychlostí a nezávisle na sobě. Producenti neobdrží potvrzení od makléřů a neposílají data rychlostí, kterou mohou makléři zpracovat. Jsou schopni vyhledávat makléře a začít odesílat zprávy, jakmile makléři začnou. Výrobce je odpovědný za výběr zprávy, kterou má přiřadit k oddílu v rámci tématu. To lze provést v režimu „round-robin“ jednoduše pro vyvážení zátěže, nebo to lze provést podle nějaké funkce sémantického rozdělení (řekněme na základě nějakého klíče ve zprávě).
3. Zookeeper
Je to jednotka, která řídí a koordinuje makléře. Zoooke informuje výrobce nebo spotřebitele v případě přidání nebo selhání zprostředkovatele. Každý zprostředkovatel odesílá žádosti o prezenční signál zookeeperovi v pravidelném intervalu, dokud je naživu. Zookeeper také udržuje informace o tématech a spotřebitelských kompenzacích.
4. Spotřebitel
Je to jednotka, která čte zprávy z témat. Spotřebitel se může přihlásit k odběru a čtení z více než jednoho tématu. Spotřebitel může pracovat souběžně s ostatními spotřebiteli (v tomto případě bude každý oddíl čten pouze jedním zákazníkem), čímž vytvoří skupinu spotřebitelů. Nefunguje to synchronizace s producenty. Spotřebitel musí udržovat, kolik zpráv si přečetl pomocí offsetu oddílů. Pokud zákazník přijme určitý posun oddílu, znamená to, že již spotřeboval předchozí zprávy v oddílu.
Závěr
V tomto článku jsme se naučili, jak můžeme používat různé nástroje Kafka k efektivnímu řízení našeho clusteru Kafka. Dozvěděli jsme se také o různých složkách ekosystému Kafka a o tom, jak spolu vzájemně reagují.
Doporučené články
Toto je průvodce nástroji Kafka. Zde diskutujeme Typy nástrojů Kafka, Různé komponenty Kafky a architekturu Kafky. Další informace naleznete také v následujícím článku -
- Nejlepší aplikace Kafka
- Vysvětlení architektury velkých dat
- Špičkové nástroje pro vědu o datech
- Rozdíly mezi Kafkou a Sparkem