Rozdíly mezi Kafkou a Sparkem
Organizace neustále rostou s obrovskými daty. Snaží se použít Hadoop pro tak obrovská data místo tradičních RDBMS. Zároveň chtějí rychlé zpracování a výstup v reálném čase. Hadoop je open-source platforma, kde můžeme používat více jazyků pro různé typy nástrojů, jako jsou Python, Scala. Pro zpracování v reálném čase v Hadoopu můžeme použít Kafka a Spark. Toto je malý článek, ve kterém se snažím vysvětlit, jak bude fungovat Kafka vs Spark.
Kafka
Kafka je platforma pro zpracování streamů s otevřeným zdrojovým kódem vyvinutá společností Apache. Je prostředníkem mezi zdrojem a cílem pro proces streamování v reálném čase, kde můžeme data přetrvávat po určité časové období. Kafka je distribuovaný systém zasílání zpráv. Tam, kde můžeme použít tato trvalá data pro proces v reálném čase. Spouští se jako služba na jednom nebo více serverech. Kafka ukládá tok záznamů do kategorií zvaných témata. Každý záznam toku se skládá z klíče, hodnoty a časového razítka.
Spuštění serveru Kafka
>bin/Kafka-server-start.sh config/server.properties
Následují hlavní komponenty Kafky
Zdroj: Spustí se, když u zdroje dojde k novému CDC (Change Data Capture) nebo nové vložení. K tomu musíme definovat sloupec klíčů, abychom identifikovali změnu.
Makléř: Který je zodpovědný za uchovávání dat. Každý Broker nemá žádný oddíl.
Téma: Rozděluje data do kategorií. Témata v Kafce jsou vždy předplacena více spotřebiteli, kteří se přihlašují k datům, která jsou do ní zapsána.
Vytvoření tématu
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
A vidět seznam témat
> bin/kafka-topics.sh --list --zookeeper localhost:2181
Oddíl: Témata jsou dále rozdělena do oddílů pro paralelní zpracování.
Výrobce: Výrobce je zodpovědný za zveřejnění údajů. Přenese data k tématům podle jejich výběru. Producent si vybere, který záznam přiřadí ke kterému oddílu v rámci tématu.
Kafka přikázal vytvořit zprávu k tématu.
> bin/Kafka-console-producer.sh --broker-list localhost:9092 --topic test
Ahoj, dobré ráno.
Toto je zkušební zpráva.
Spotřebitel: Spotřebitelé budou spotřebovávat data z témat. Spotřebitel bude štítkem se svou skupinou spotřebitelů. Pokud má stejné téma více spotřebitelů z jiné skupiny spotřebitelů, byla každá kopie odeslána každé skupině spotřebitelů.
Chcete-li data přetrvávat, můžete se potápět s více zdroji. Kafka přikázal přijímat zprávy k určitému tématu.
> bin/Kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
Ahoj, dobré ráno.
Toto je zkušební zpráva.
Flume: Můžeme použít flume Kafka Sink. Ve kterém, jakmile jakýkoli CDC (Change Data Capture) nebo New insert flume spustí záznam a posouvá data do tématu Kafka. K tomu musíme nastavit kanál.
Stejně jako flume Kafka Sink můžeme mít HDFS, zdroj JDBC a dřez.
Kafka má lepší propustnost a má funkce jako vestavěné dělení na oddíly, replikaci a odolnost proti chybám, což z něj dělá nejlepší řešení pro aplikace pro zpracování zpráv ve velkém měřítku nebo pro zpracování proudu
Jiskra
Apache Spark je open-source cluster-computing framework. Původně vyvinut na University of California, Berkeley's Amp Lab, byla Spark codebase později darována Apache Software Foundation. Spark poskytuje rozhraní pro programování celých clusterů s implicitní paralelitou dat a odolností proti chybám.
Když byl představen Hadoop, byl Map-Reduce základní spouštěcí motor pro jakýkoli úkol úlohy. V procesu provádění Map-Reduce (čtení - zápis) došlo na skutečném pevném disku. To je důvod pro více času a spotřeby prostoru v době provedení.
Apache Spark je platforma s otevřeným zdrojovým kódem. Zlepšuje kvalitu provádění než proces Map-Reduce. Je to otevřená platforma, kde můžete používat několik programovacích jazyků, jako jsou Java, Python, Scala, R. Spark poskytuje provádění v paměti, které je 100krát rychlejší než MapReduce. To používá definici RDD. RDD je robustní distribuovaná sada dat, která vám umožňuje ukládat data do paměti transparentním způsobem a uchovávat je na disku pouze podle potřeby. Zde je čas pro přístup k datům z paměti místo disku.
Spark je platforma, kde můžeme uchovávat data v datovém rámci a zpracovávat je. Vývojář aplikací, Data Scientist, Data Analyst může použít Spark ke zpracování obrovského množství dat v minimálním časovém období. Můžeme použít funkci, jako je interaktivní, iterativní, analýza dat ve Spark.
Streamování jisker je další funkce, kde můžeme zpracovávat data v reálném čase. Bankovní doména musí sledovat transakci v reálném čase, aby zákazníkovi nabídla nejlepší řešení a sledovala podezřelé transakce. Streamování jisker je nejoblíbenější u mladší generace Hadoop. Spark je lehké API, které se snadno vyvíjí a které pomůže vývojáři rychle pracovat na streamingových projektech. Streamování jisker snadno obnoví ztracená data a bude schopno doručit přesně, jakmile bude architektura na místě. A bez dalšího úsilí o kódování Můžeme pracovat na streamování jisker v reálném čase a historických dávkových datech současně (Lambda Architecture).
Ve Spark Streamování můžeme použít více nástrojů, jako je například Flume, Kafka, RDBMS jako zdroj nebo dřez.
Nebo můžeme přímo streamovat z RDBMS do Spark.
Můžeme spustit jiskru na vrcholu HDFS nebo bez HDFS. Proto všichni mluví o jeho nahrazení Hadoopem. HDFS je základní systém souborů pro Hadoop. HDFS můžeme použít jako zdrojový nebo cílový cíl.
Pomocí Spark SQL použijte ke zpracování dat základní dotazy SQL. Tato jiskra poskytuje vědcům dat lepší předpovědi, jako je Mlib (Machine Learning Library).
Srovnání hlava-hlava mezi Kafka vs Spark (infografika)
Níže je pět nejlepších srovnání mezi Kafkou a Sparkem
Klíčový rozdíl mezi Kafkou a Sparkem
Pojďme diskutovat o některých hlavních rozdílech mezi Kafkou a Sparkem:
- Kafka je Zprostředkovatel zpráv. Spark je platforma s otevřeným zdrojovým kódem.
- Kafka má producenta, spotřebitele, téma pro práci s daty. Pokud Spark poskytuje platformu, stahujte data, držte je, zpracovávejte a tlačte od zdroje k cíli.
- Kafka poskytuje streamování v reálném čase, proces okna. Kde Spark umožňuje jak streamování v reálném čase, tak dávkový proces.
- V Kafce nemůžeme provést transformaci. Kde ve hře Spark provádíme ETL
- Kafka nepodporuje žádný programovací jazyk pro transformaci dat. Kde jiskra podporuje více programovacích jazyků a knihoven.
- Kafka se tedy používá pro streamování v reálném čase jako kanál nebo prostředník mezi zdrojem a cílem. Pokud Spark používá pro tok dat v reálném čase, dávkový proces a ETL.
Vlastnosti hotelu Kafka vs Spark
Existuje několik klíčových funkcí:
- Tok dat: Kafka vs. Spark poskytují datové proudy v reálném čase od zdroje k cíli. Kafka právě Flow Data k tématu, Spark je procedurální tok dat.
- Zpracování dat: Nemůžeme provést žádnou transformaci dat, pomocí které Spark můžeme transformovat data.
- Data Persistent: Kafka přetrvává data po určitou dobu, jak je definováno v konfiguraci. Abychom data udrželi, musíme použít datový rámec nebo objekt datové sady.
- Transformace ETL: Pomocí Spark můžeme provést ETL, kde Kafka neposkytuje ETL.
- Správa paměti: Spark používá RDD k ukládání dat distribuovaným způsobem (tj. Cache, local space), kde Kafka ukládá data v Topic tj. Do vyrovnávací paměti.
Srovnávací tabulka mezi Kafkou a Sparkem
Níže je nejvyšší srovnání mezi Kafkou a Sparkem:
| Kritéria funkce | Apache Spark | Kafka |
| Rychlost | 100krát rychlejší než Hadoop | Slušná rychlost |
| zpracovává se | Zpracování v reálném čase a šarže | Pouze zpracování v reálném čase / okno |
| Obtížnost | Snadno se učí díky modulům na vysoké úrovni | Snadná konfigurace |
| Zotavení | Umožňuje obnovu oddílů pomocí mezipaměti a RDD | Odolnost proti chybám / replikace |
| Interaktivita | Má interaktivní režimy | Žádný interaktivní režim / Spotřeba dat |
Závěr
Můžeme použít Kafku jako zprostředkovatele zpráv. Data mohou přetrvávat po určité časové období. Pomocí Kafky můžeme provádět operace okna v reálném čase. V Kafka však nemůžeme provést transformaci ETL. Pomocí Spark můžeme vytrvat data v datovém objektu a provádět transformace end-to-end ETL.
Takže je to nejlepší řešení, pokud použijeme Kafku jako platformu pro streamování v reálném čase pro Spark.
Doporučený článek
To byl průvodce největším rozdílem mezi Kafkou a Sparkem. Zde diskutujeme také klíčové rozdíly Kafka vs Spark s infografikou a srovnávací tabulkou. Další informace naleznete také v následujících článcích. Další informace naleznete také v následujících článcích -
- Rozdíl mezi Apache Kafka vs Flume
- Apache Storm vs Kafka
- Apache Hadoop vs Apache Spark
- Google Cloud vs AWS
- Kafka vs Kinesis | Top 5 rozdílů