Úvod do plánovačů Hadoop

Když mluvíme o Hadoopovi, první věc, která se nám objeví, jsou velká data. Ale přemýšleli jsme někdy, že Hadoop sám o sobě není jen technologií, ale zahrnuje mnoho nástrojů a technik uvnitř, takže jak přesně jsme schopni dosáhnout toho, co je zamýšleno prostřednictvím Hadoop automaticky. Odpověď na tuto otázku je pomocí plánovačů Hadoop.

Umožňuje vysokou úroveň zpracování systému a je také známý jako systém pro všeobecné účely, který působí na distribuční úrovni sady dat a informací. Je to multitaskingový systém, který se používá ke zpracování více sad dat pro mnoho uživatelů a úloh současně. Dříve byl pro všechny úkoly používán pouze jeden plánovač, ale nyní jsou plánovače Hadoop ty, které se používají spolu s logikou JobTracker a jsou také podporovány Hadoopem.

Top 4 typy plánovačů Hadoop

Často používáme několik typů plánovačů Hadoop:

1. Hadoop First in First out Scheduler

  • Jak už název napovídá, jedná se o jeden z těch nejstarších plánovačů úloh, který pracuje na principu první dovnitř a první ven. V zásadě, když mluvíme o procesu, jako je proces JobTracker, mluvíme o vytahování úloh z fronty, která je často považována za pracovní frontu.
  • Podle této pracovní fronty bude úloha, která je nejstarší, tj. Ta, která byla první, tou první, která bude také popravena.
  • Toto bylo vždy věřil být mnohem jednodušší přístup než jiné techniky plánování, a proto nebylo příliš přemýšlel o škrabání této techniky pouze najít novější přístupy s lepšími schopnostmi plánování, protože také zahrnovaly do sebe koncepty dimenzování a priority úlohy.

2. Plánovač kapacity Hadoop

  • Plánovač kapacity Hadoop je víceméně podobný přístupu FIFO s tou výjimkou, že také využívá prioritizaci úlohy. Tento přístup má trochu odlišný přístup, když hovoříme o víceuživatelské úrovni plánování.
  • Je známo, že plánuje a simuluje samostatný MapReduce Cluster pro každou organizaci nebo uživatele a který se provádí společně s typem plánu FIFO.

3. Hadoop Fair Type Scheduler

  • Pokud existuje potřeba poskytnout oddělené a přiměřené množství klastrové kapacity s časem a obdobím, využijeme plánovač veletrhů Hadoop. Je užitečné získat všechny klastry, i když je určitá úloha v provozním stavu.
  • Kromě toho jsou všechny volné sloty klastru poskytovány všem úlohám takovým způsobem, aby každý uživatel získal normalizovaný podíl části své klastru, protože více úloh se stane užitečnými pro odeslání.
  • Pokud existuje fond, který ještě nedostal svou část spravedlivého podílu a normalizovaný podíl na přiměřeně dlouhou dobu a období, pak nastane preempce, která zabíjí všechny sdružené úkoly a běží s kapacitou poskytovat tento fond sloty pro provoz pod kapacitou.
  • Navíc je to také známé jako přispívající modul, což znamená, že kopírováním Hadoopova adresáře založeného na řízení a spravedlivém plánovači do adresáře na bázi lib a umístěním souboru JAR na vhodné místo lze tuto techniku ​​plánování povolit. Jedinou věcí, kterou je třeba udělat, je nastavení vlastnosti plánovače úloh na mapred.FairScheduler.

4. Jiné přístupy týkající se plánovače

  • Hadoop zajišťuje nabídku poskytování virtuálních klastrů, což znamená, že potřeba mít fyzické skutečné klastry lze minimalizovat a tato technika je známá jako HOD (Hadoop on Demand).
  • Využívá správce prostředků založeného na točivém momentu, aby udržel uzly nahoru a alokaci podle požadavků virtuálního klastru.
  • Slouží k inicializaci zátěže a systému, který je založen na konkrétních uzlech uvnitř virtuálního a nikoli fyzického klastru a také společně s přidělenými uzly, pouze pokud jsou konfigurační soubory připraveny automaticky.
  • Po provedení inicializace lze cluster HOD také použít poměrně nezávisle. Stručně řečeno, model v kostce, který se používá k rozmístění těchto velkých shluků Hadoop, je v cloudové infrastruktuře a tomu se říká HOD. Poměrně sdílí menší počet uzlů, a proto poskytuje vyšší úroveň zabezpečení.

Důležitost používání plánovačů Hadoop

  1. Z typů plánovačů Hadoop by mělo být jasné, kde leží význam používání těchto plánovačů Hadoop. Pokud provozujete velký klastr, který má různé typy úloh, různé priority a velikosti spolu s více klienty, pak si vyberete ten správný druh plánovače Hadoop, který se stane důležitým.
  2. To je důležité, protože zajišťuje zaručený přístup k nevyužité úrovni kapacity a optimální využití zdrojů účinným stanovováním priorit úloh ve frontách. I když je tato část plánovačů Hadoop poměrně snadná, protože použití spravedlivých plánovačů je většinou tou pravou volbou, pokud dojde k rozdílu mezi počtem a typy klastrů běžících v jedné organizaci.
  3. Tento spravedlivý plánovač může být stále použit k poskytování a nerovnoměrné distribuci společné kapacity úloh a je prováděn mnohem jednodušším a konfigurovatelnějším způsobem. Spravedlivý plánovač také přichází k naší záchraně, když hovoříme o přítomnosti diverzifikovaných druhů pracovních míst, protože lze použít k zajištění vyšší doby odezvy u relativně menších pracovních míst, které jsou smíchány s většími druhy pracovních míst, a jejich podpora je zahrnuta v interaktivní použití modelů.
  4. Plánovače kapacity jsou užitečné, pokud se více zajímáte o fronty místo úrovně vytvořených fondů a také je k dispozici konfigurovatelná úroveň mapy a redukce typů úloh, které jsou k dispozici, a fronta si může dovolit získat zaručenou kapacitu klastru.

Závěr

V tomto příspěvku se dočteme o plánovačích Hadoop, jejich významu, představení, typech plánovačů Hadoop, jejich funkcích a také o důležitosti těchto plánovačů Hadoop. Když se člověk týká ekosystému a prostředí velkých dat, plánovače Hadoop jsou něco, o čem se často nemluví, ale má nejvyšší význam a nelze si dovolit ponechat tak, jak je. Doufám, že se vám náš článek líbil.

Doporučené články

Toto je průvodce plánovačem Hadoop. Zde diskutujeme úvod a 4 nejdůležitější typy plánovače Hadoop s důležitostmi jeho použití. Další informace naleznete také v následujících článcích

  1. Swing komponenty v Javě
  2. JTabbedPane v Javě
  3. Chráněné klíčové slovo v Javě
  4. JTextArea v Javě

Kategorie:

Velká data