Naučte se 10 nejlepších rozdílů mezi MapReduce a přízí

Rozdíl mezi mapou se zmenšuje a příze

Příze je zkratka pro ještě další prostředek vyjednavač, je to nový rámec pro správu zdrojů (paměť a CPU). Pomáhá nám při vývoji distribuované aplikace jakéhokoli druhu, poskytuje nám potřebné démony a API. Dalším důležitým rysem YARN je, že zpracovává a plánuje požadavek na zdroje z aplikace a pomáhá procesu vykonat požadavek. YARN je obecná platforma pro provozování jakékoli distribuované aplikace, Map Reduce verze 2 je distribuovaná aplikace, která běží na vrcholu YARN, zatímco map redu je zpracovatelská jednotka komponenty Hadoop, zpracovává data paralelně v distribuovaném prostředí. Takže v zásadě mapová práce na obrovské datové komponentě zpracovává data a ukládá je do HDFS tak, aby vyhledávání bylo snazší než tradiční úložiště.

Srovnání hlava-hlava mezi MapReduce vs příze (infografika)

Níže je 10 nejlepších srovnání mezi MapReduce a Yarn

Klíčový rozdíl mezi MapReduce a přízí

V Hadoop 1 má dvě komponenty, první je HDFS (Hadoop Distributed File System) a druhý je Map Reduce. Zatímco v Hadoopu 2 má také dvě složky HDFS a YARN / MRv2 (obvykle jsme nazvali YARN jako Map redukovat verzi 2).
V Map Reduce, když přestane Map-redukovat práci, automaticky přestane fungovat všechny jeho podřízené uzly. Toto je scénář, ve kterém může provádění úlohy přerušit a nazývá se jediný bod selhání. YARN překonává tento problém kvůli své architektuře, YARN má koncept uzlu Active name uzel i uzel pohotovostního jména. Když aktivní uzel přestane nějakou dobu pracovat, pasivní uzel začne pracovat jako aktivní uzel a pokračovat ve provádění.
Mapa redukce má architekturu single master a multiple slave. Pokud master-slave klesne, celý slave přestane pracovat, což je jediný bod selhání v HADOOP1, zatímco HADOOP2, který je založen na architektuře YARN, má koncept více master a slave, pokud jeden master klesne, další master obnoví svůj proces a bude pokračovat v provádění.
Jak vidíme na níže uvedeném diagramu, rozdíl v obou ekosystémech HADOOP1 a HADOOP2. Složka YARN Resource Management spolupracuje s komponentami Map-redukovat a HDFS.

YARN je tedy v zásadě zodpovědný za správu prostředků, což znamená, která úloha bude vykonána, podle kterého se systém rozhodne rozhodnout pomocí YARN, zatímco mapová redukce je programovací rámec, který je zodpovědný za to, jak provést konkrétní úlohu, takže v podstatě mapová redukce má dvoukomponentní mapovač a reduktor pro provedení programu.

Na mapě omezte každý datový uzel spuštěn samostatně, zatímco v Příze každý datový uzel běží správcem uzlů.
Mapová redukce používá Job tracker k vytvoření a přiřazení úkolu k trackeru úloh kvůli datům správa zdroje není působivá, protože některé datové uzly zůstanou nečinné a nejsou k ničemu, zatímco v YARN má správce zdrojů pro každý clusteru a každý datový uzel spustí Správce uzlů. Pro každou úlohu bude jeden podřízený uzel fungovat jako hlavní aplikační server, který bude sledovat zdroje / úkoly.

Srovnávací tabulka MapReduce vs příze

Základ pro srovnání	PŘÍZE	Mapa Reduce
Význam	YARN znamená ještě další vyjednávač zdrojů.	Mapa Reduce je vlastní.
Verze	Představte se v Hadoop 2.0	Zavést v Hadoop 1.0
Odpovědnost	Nyní je YARN zodpovědná za správu zdrojů.	Dřívější snížení map bylo odpovědné za správu zdrojů a zpracování dat
Realizační model	Model provedení příze je obecnější ve srovnání s mapovým snížením	Méně obecný ve srovnání s YARN.
Spuštění aplikace	YARN umí také spouštět aplikace, které nesledují model Map Reduce	Map Reduce umí provádět vlastní aplikace založené na modelu.
Architektura	YARN je představen v MR2 na vrcholu sledování úloh a sledování úloh. V místě aplikace pro sledování úloh a aplikací pro sledování úloh se hlavní obrázek objeví.	V dřívější verzi MR1, YARN není tam. Místo YARN sledovače úloh a sledovače úloh byly přítomny, které pomáhají při provádění aplikace nebo úloh
Flexibilita	YARN je izolovanější a škálovatelnější	Méně škálovatelné ve srovnání s YARN.
Démoni	YARN má Name Node, Data uzel, sekundární Name uzel, Resource Manager a Node Manager.	Mapa Zmenšit má uzel Název, Datový uzel, Uzel sekundárního jména, Sledovač úloh a Sledovač úloh.
Omezení	V YARN neexistuje koncepce jediného bodu selhání, protože má více Masters, takže pokud jeden selhal, jiný master jej vyzvedne a pokračuje v provádění.	Jeden bod selhání, nízké využití zdrojů (maximálně 4 200 klastrů podle YAHOO) a menší škálovatelnost ve srovnání s YARN
Velikost	Ve výchozím nastavení je datový uzel v YARN 128 MB	Ve výchozím nastavení je velikost datového uzlu v Map redukce 64 MB.

Závěr - MapReduce vs příze

V Hadoop 1, který je založen na Map Reduce, má několik problémů, které překonávají v Hadoop 2 s Yarn. Stejně jako v Hadoop 1 je tracker úloh zodpovědný za správu prostředků, ale YARN má koncept správce zdrojů i správce uzlů, který bude využívat správu zdrojů. Zmenšení mapy má jediný bod selhání, tj. Sledování úloh, pokud sledování úloh přestane fungovat, musíme restartovat celý náš cluster a znovu provést naši úlohu z Initial. Ve skutečném scénáři žádná z organizací nechce podstupovat tento druh rizika, zejména v sektoru obrany bank. Taková organizace, která pracuje na racionálních datech, nebude připravena podstoupit tento druh rizika. Kvůli několika minutám ztratí svá data a mohou mít zásadní obchodní dopad. Takže YARN má lepší výsledek než snížení mapy.

Doporučený článek

Toto byl průvodce MapReduce vs Yarn, jejich význam, porovnání hlava-hlava, hlavní rozdíly, srovnávací tabulka a závěr. Další informace naleznete také v následujících článcích -