Kariéra v Hadoopu - úvod
Hadoop není pouhým rámcem ve světě velkých dat. Má široký ekosystém se zastřešujícími souvisejícími technologiemi. Ze stejného důvodu je kariéra v Hadoopu slibná. Pokud dobře rozumíte základům Hadoopu, bude to základ pro velkou kariéru v Hadoopu.
Vzdělání ke kariéře v Hadoopu
Stejně jako mnoho nově vznikajících datových technologií, ani Hadoop nevyžaduje žádné specifické vzdělání jako takové. Přibližně polovina vývojářů Hadoopu pochází z jiných než počítačových věd, jako je Statistika nebo Fyzika. Je tedy zřejmé, že pozadí není překážkou vstupu do světa Hadoop za předpokladu, že jste připraveni se učit základy. Existují dobré online kurzy, které pokrývají Hadoop - ten z eduCBA je nejlepším příkladem - master-apache-Hadoop
Dále, pokud se chcete přesunout hlouběji do konkrétní oblasti správy klastrů Hadoop nebo modelování dat v materiálech Úlu na každé konkrétní téma dostupné jako online kurzy a učebnice. Klastry Hadoop budou většinou nastaveny u dodavatele cloudů, jako jsou AWS nebo Azure. Seznamte se tedy s jakýmkoli dodavatelem cloudu, který si vyberete, hodně pomůže. Hadoop služba od AWS se nazývá EMR.
Populární specializace zahrnuje:
- Spark - škálovatelný modul pro zpracování dat v paměti
- HBase - Žádná databáze SQL na vrcholu HDFS
- Beam - Streaming zpracování dat prvního přístupu
- Pig - skriptování transformace dat (ETL)
- Úl - Skladování dat
- Mahout, Spark MLlib - škálovatelné strojové učení na Hadoopu
- Vrták Apache - SQL engine na Hadoopu
- Flume, Sqoop - služby přijímání dat
- Solr & Lucene - Hledání a indexování
Profesní cesta v Hadoopu
Podle výsledků průzkumu přetečení zásobníku 2017 společnost Hadoop vede v nejoblíbenějším a nejoblíbenějším rámci v prostoru velkých dat (Survey Link). To je možné pouze proto, že lidé z různých perspektiv IT našli Hadoop potenciální kariérní cestu a chtějí se změnit.
Ať už je vaše současná role v jakékoli roli IT, ve světě Hadoop bude snadno adaptabilní přechod na kariéru. Některé populární příklady -
- Softwarový vývojář (programátor) -> Hadoop Data Developer, který se zabývá různými Hadoop abstraction SDK a odvozuje hodnotu z dat.
- Data Analyst -> Takže jste zdatní v oblasti SQL. Velké příležitosti v Hadoopu pracovat na SQL strojích jako Hive nebo Impala
- Business Analyst -> Organizace, které se snaží o větší ziskovost pomocí rozsáhlých shromážděných údajů, a role obchodního analytika je v tomto zásadní.
- ETL Developer -> Pokud pracujete jako tradiční ETL vývojář, můžete snadno přejít na Hadoop ETL pomocí nástrojů, jako je Spark.
- Testeři -> Ve světě Hadoop existuje obrovská poptávka po testerech. Pochopením základů Hadoopu a profilování dat se mohou k této roli přejít všichni testeři.
- Profese BI / DW -> Lze snadno přepnout na architekturu Hadoop Data na modelování dat.
- Senior IT profesionálové -> S hlubokým porozuměním oblasti a existujícím výzvám ve světě dat se může senior profesionál stát konzultanty získáním znalostí o tom, jak se Hadoop snaží tyto výzvy řešit.
- Existují obecné role jako Data Engineers nebo Big Data Engineering, kteří jsou zodpovědní za implementaci řešení převážně u dodavatelů cloudů. Získáním znalostí datových komponent cloudu to bude slibná role.
Pracovní pozice
Ekosystém Hadoop nabízí celou řadu kariérních možností
- MapReduce Developer - Jedná se v podstatě o Java vývojářskou roli, která také rozumí internímu fungování systémů Hadoop. K dispozici je abstrakce, jako je Hive nebo Pig, které jsou stále k dispozici pro MapReduce úlohy pro vysoce výkonné systémy. Vývojáři MapReduce jsou ten, kdo rozumí systému dovnitř a ven a zaplatil opravdu vysoké.
- Hadoop Administrators - Toto jsou lidé zodpovědní za udržování zdravé a výkonné skupiny Hadoop. To může zahrnovat typické úkoly správce, jako jsou pravidelné kontroly stavu systému, ale většina úkolů potřebných k pochopení architektury systému Hadoop.
- Devops - Nasazení nových systémových komponent a dalších změn souvisejících s vývojem v clusteru Hadoop. Odpovědnost za tuto roli se velmi liší a závisí na kultuře organizace.
- Vývojář dat - zpracování dat na vrcholu Hadoopu. Tato jedna z nejoblíbenějších rolí v ekosystému Hadoop. Pro tyto role se nejlépe hodí lidé z SQL nebo analytického prostředí. Většinou pracují na abstrakci Hadoop na vysoké úrovni, jako je Hive nebo Pig.
- Správce zabezpečení dat - Data jsou nejcennější aktiva a jejich zabezpečení je nejdůležitější. Správci zabezpečení zajišťují zásady ochrany osobních údajů a osvědčené postupy pro ochranu dat s omezením porozumění systému
- Vizualizátor dat - Zacházejte s vizualizačními nástroji nové generace, které umožňují dynamické krájení a agregaci dat s ukládáním dat do paměti
- ETL Developer - Transformujte data pro zlepšení kvality dat nebo podle obchodní logiky pomocí nástrojů ekosystému Hadoop. Proces ETL může být datový proud nebo dávkový.
- System Architect - Navrhněte vysoce výkonné systémy s ohledem na dostupnost a trvanlivost dat nákladově efektivním způsobem. Velmi záleží na poskytovateli hardwaru.
- Datový architekt - Kromě tradičního logického / fyzického návrhu dat bude za mnoho věcí, jako je kódování sloupců, denormalizace, návrh oddílů atd., Zodpovědný datový architekt.
Doporučené kurzy
- Online školení XML a Java
- Kurzy Node.JS
- Výcvikový kurz Silverlight
- Ember.JS Program
Plat
Průměrný plat vývojáře softwaru v USA je 90 956 dolarů ročně, zatímco průměrný plat vývojáře Hadoopu je o něco vyšší - 118 234 USD ročně (podle Indeed.com - opravdu.com)
Platy vývojáře Hadoopu v předních společnostech v USA (viz: opravdu.com)
| Jablko | 147 573 $ ročně |
| Wipro | 110 553 $ ročně |
| HERO.jobs | 158 715 $ ročně |
| MBCAA | 133 422 $ ročně |
| Ventures Unlimited Inc | 130 000 dolarů ročně |
| Nityo Infotech Services Pvt. Ltd. | 128 633 $ ročně |
| SEVERNÍ HVĚZDA | 126 370 $ ročně |
| PRI technologie | 121 396 $ ročně |
| NITYO INFOTECH | 116 909 $ ročně |
| HortonWorks, Inc | 110 710 $ ročně |
Kariérní výhled
Ekosystém Hadoop se hodně liší, aby vyhověl změnám v obchodních potřebách. Jak generovaná data rostou exponenciálně a čím dál více organizací se stává datově řízeným, význam systému Hadoop se pouze zvýší.
Některé významné trendy:
- Posun od dávkového zpracování k datovému toku prvního přístupu ke zpracování dat pomocí Spark and Beam
- Více modelu strojového učení v reálném čase aplikovaného na data v reálném čase pomocí Spark ML
- Oddělené nástroje SQL od ukládání dat, jako je Presto na vrcholu S3, pro ad-hoc analýzu na vrcholu datového jezera.
- Sloupcové databáze MPP jako AWS Redshift pro rychlý přístup k datům
Jelikož základní aspekt zpracování velkých dat spočívá na distribuovaných a horizontálně škálovatelných systémech odolných vůči chybám, které společnost Hadoop dobře implementuje, bude Hadoop pokračovat jako přední ekosystém pro zpracování dat.
Doporučený článek
Toto byl průvodce kariérou v Hadoopu. Zde jsme diskutovali o úvodu, vzdělávání, kariérní cestě v Hadoopu, mzdovém a kariérním výhledu v Hadoopu. Další informace naleznete také v následujícím článku -
- Azure Paas vs Iaas a jejich užitečné výhody
- Zjistěte rozdíly mezi Java vs Node JS
- Nejlepší odborné rady o kariéře v mainframe
- Kariéra v SQL
- Užitečné kariéry jako softwarový inženýr
- Správce Hadoopu Dovednosti a kariérní cesta