Úvod do Hadoop Open Source?
Hadoop formálně nazvaný Apache Hadoop. Apache Hadoop je špičkovým projektem Apache Community. Apache Hadoop je projekt nadace Apache Software Foundation a softwarová platforma s otevřeným zdrojovým kódem. Apache Hadoop je navržen pro škálovatelnost, odolnost proti chybám a distribuované výpočty. Hadoop může poskytnout rychlou a spolehlivou analýzu strukturovaných i nestrukturovaných dat. Open source software je software se zdrojovým kódem, který může kdokoli kontrolovat, upravovat a vylepšovat. Open Source je certifikační standard vydaný Open Source Initiative (OSI), který označuje, že zdrojový kód počítačového programu je bezplatně k dispozici široké veřejnosti. Software s otevřeným zdrojovým kódem je obvykle distribuován se zdrojovým kódem na základě licence s otevřeným zdrojovým kódem. Otevřený zdrojový kód je obvykle vytvořen jako společné úsilí, ve kterém programátoři vylepšují tento kód a sdílejí změny v rámci komunity. Software se aktualizuje velmi rychle pod komunitou Apache. Každý programátor nebo společnost může upravit zdrojový kód podle svých požadavků a může uvolnit novou verzi softwaru na platformu Apache Community.
Vlastnosti hotelu Hadoop
Jak jsme se výše zmínili o úvodu do otevřeného zdroje Is Hadoop, nyní se učíme rysům Hadoopu:
-
Open Source -
Nejatraktivnějším rysem Apache Hadoop je, že je open source. To znamená, že open source Hadoop je zdarma. Každý si jej může stáhnout a použít osobně nebo profesionálně. Pokud by vůbec vznikly nějaké náklady, pravděpodobně by to byl komoditní hardware pro ukládání obrovského množství dat. Ale to stále dělá Hadoop levným.
-
Komoditní hardware -
Apache Hadoop běží na komoditním hardwaru. Komoditní hardware znamená, že se pro svou infrastrukturu nelepíte na žádného jediného dodavatele. Každá společnost poskytující hardwarové zdroje, jako je paměťová jednotka, procesor za nižší cenu. Rozhodně se můžete přesunout do takových společností.
-
Nízké náklady -
Protože Hadoop Framework je založen na komoditním hardwaru a open source softwarovém rámci. Snižuje náklady a zároveň je přijímá do organizace nebo nové investice do vašeho projektu.
-
Škálovatelnost -
Je to vlastnost systému nebo aplikace, která zpracovává větší množství práce nebo se snadno rozšiřuje v reakci na zvýšenou poptávku po síťových, zpracovatelských, databázových nebo systémových souborových zdrojích. Hadoop je vysoce škálovatelná platforma pro ukládání dat. Škálovatelnost je schopnost něčeho se časem přizpůsobit změnám. Úpravy obvykle zahrnují růst, takže velkou konotací je, že adaptací bude nějaký druh rozšíření nebo upgradu. Hadoop je horizontálně škálovatelný. To znamená, že k existující infrastruktuře můžete přidat libovolný počet uzlů nebo strojů. Řekněme, že ve vašem clusteru pracujete na 15 TB dat a 8 strojích. Očekáváte příští měsíc 6 TB dat. Váš klastr však dokáže zvládnout pouze 3 TB více. Hadoop vám nabízí funkci horizontálního škálování - to znamená, že můžete přidat libovolné číslo systému podle vašich požadavků na klastr.
-
Vysoce robustní-
Díky funkci odolnosti proti chybám Hadoop je tento produkt opravdu populární. Hadoop poskytuje funkce jako replikační faktor. To znamená, že vaše data jsou replikována do jiných uzlů, jak je definováno faktorem replikace. Vaše data jsou bezpečná a zabezpečená do jiných uzlů. Pokud dojde k selhání clusteru, budou data automaticky předána na jiné místo. Tím bude zajištěno, že zpracování dat bude pokračovat bez jakýchkoli problémů.
-
Rozmanitost dat -
Framework Apache Hadoop vám umožní vypořádat se s jakoukoli velikostí dat a jakýmkoli druhem dat. Framework Apache Hadoop vám pomůže pracovat na velkých datech. Budete mít možnost ukládat a zpracovávat strukturovaná data, polostrukturovaná a nestrukturovaná data. Nejste omezeni na žádné formáty dat. Nejste omezeni na žádný objem dat.
-
Více rámců pro velká data -
Existují různé nástroje pro různé účely. Hadoop framework má širokou škálu nástrojů. Hadoop framework je rozdělen do dvou vrstev. Vrstva úložiště a vrstva zpracování. Vrstva úložiště se nazývá Distribuovaný systém souborů Hadoop a vrstva Zpracování se nazývá Zmenšení mapy. Na vrcholu HDFS se můžete integrovat do jakéhokoli nástroje podporovaného Hadoop Cluster. Hadoop lze integrovat s několika analytickými nástroji, abyste z toho dostali to nejlepší, jako je Mahout pro strojové učení, R a Python pro analytiku a vizualizaci, Python, Spark pro zpracování v reálném čase, MongoDB a HBase pro databázi NoSQL, Pentaho pro BI atd. Může být integrován do nástrojů pro zpracování dat, jako je Apache Hive a Apache Pig. Může být integrován s nástroji pro extrakci dat, jako jsou Apache Sqoop a Apache Flume.
-
Rychlé zpracování -
Zatímco tradiční ETL a dávkové procesy mohou načítání velkého množství dat trvat hodiny, dny nebo dokonce týdny, potřeba analyzovat data v reálném čase se stává kritickou den co den. Hadoop je mimořádně dobrý ve velkoobjemovém dávkovém zpracování, protože je schopen paralelního zpracování. Hadoop může provádět dávkové procesy 10krát rychleji než na serveru s jedním vláknem nebo na mainframe. Nástroje pro zpracování dat jsou často na stejných serverech, kde jsou data umístěna, což vede k mnohem rychlejšímu zpracování dat. Pokud pracujete s velkými objemy nestrukturovaných dat, je Hadoop schopen efektivně zpracovat terabajty dat během několika minut a petabytů za hodiny.
-
Snadné použití -
Hadoop framework je založen na Java API. Při přijímání Hadoopu není mnoho technologických mezer jako vývojář. Framework Map Reduce je založen na Java API. Potřebujete kód a napsat algoritmus na samotnou JAVA. Pokud pracujete na nástrojích, jako je Apache Hive. Je založen na SQL. Každý vývojář, který má pozadí databáze, může Hadoop snadno přijmout a může pracovat na Úlu jako nástroj.
Závěr: Je Hadoop Open source?
2.7 Zeta bajtů dat dnes existuje v digitálním vesmíru. Big Data bude dominovat v příštím desetiletí v prostředí pro ukládání a zpracování dat. Data se stanou centrem modelu pro růst podnikání. Existuje požadavek nástroje, který se hodí pro všechny tyto. Hadoop se dobře hodí pro ukládání a zpracování velkých dat. Všechny výše uvedené funkce Big Data Hadoop z něj dělají moc pro široce přijímající Hadoop. Big Data bude středem všech nástrojů. Hadoop je jedním z řešení pro práci na Big Data.
Doporučený článek
Toto je průvodce otevřeným zdrojovým kódem Is Hadoop. Zde také diskutujeme základní pojmy a vlastnosti Hadoopu. Další informace naleznete také v následujících článcích.
- Použití Hadoopu
- Hadoop vs Spark
- Kariéra ve hře Spark
- Pracovní místa správce Hadoop
- Správce Hadoopu Dovednosti a kariérní cesta