Úvod do velkých datových technologií
Technologie velkých dat a Hadoop je velkým buzzwordem, jak by to mohlo znít. Vzhledem k obrovskému nárůstu datové a informační domény ze všech oborů a oborů, je velmi důležité zavést a zavést účinnou techniku, která se stará o všechny potřeby a požadavky klientů a velkých průmyslových odvětví, které jsou odpovědné za generování dat . Dříve byla data zpracovávána běžnými programovacími jazyky a jednoduchým strukturovaným dotazovacím jazykem, ale nyní se zdá, že tyto systémy a nástroje v případě velkých dat příliš nečiní. Technologie velkých dat je definována jako technologie a softwarový nástroj, který je určen pro analýzu, zpracování a extrakci informací z velké sady extrémně složité struktury a velkých datových souborů, což je pro tradiční systémy velmi obtížné řešit. Technologie velkých dat se používá k manipulaci s daty v reálném čase i s dávkami. Strojové učení se stalo velmi kritickou součástí každodenního života a každého odvětví, a proto se stává velmi důležitá správa dat prostřednictvím velkých dat.
Typy velkých datových technologií
Než začneme se seznamem technologií, podívejme se nejprve na širokou klasifikaci všech těchto technologií. Mohou být klasifikovány hlavně do 4 domén.
- Datové úložiště
- Analytics
- Dolování dat
- Vizualizace
Podívejme se nejprve na všechny technologie, které spadají pod deštník.
1. Hadoop : Pokud jde o velká data, Hadoop je první technologie, která přichází do hry. To je založeno na architektuře snižování map a pomáhá při zpracování úloh souvisejících s dávkami a zpracování informací o dávkách. Byl navržen pro ukládání a zpracování dat v distribuovaném prostředí pro zpracování dat spolu s komoditním hardwarem a jednoduchým modelem provádění programování. Může být použit k ukládání a analýze dat přítomných v různých různých strojích s vysokou kapacitou úložiště, rychlostí a nízkými náklady. Jedná se o jednu z hlavních základních součástí technologie velkých dat, která byla vyvinuta softwarovou nadací Apache v roce 2011 a je napsána v jazyce Java.
2. MongoDB : Další velmi důležitou a základní součástí technologie velkých dat z hlediska úložiště je databáze MongoDB NoSQL. Je to databáze NoSQL, což znamená, že se na ni nevztahují relační vlastnosti a další vlastnosti související s RDBMS. Odlišuje se od tradičních databází RDBMS, které používají strukturovaný jazyk dotazů. Využívá dokumenty schématu a struktura ukládání dat se také liší, a proto jsou užitečné při uchovávání velkého množství dat. Je to program pro návrh a databázi orientovaný na dokumenty napříč platformami, který využívá dokumenty podobné JSON spolu se schématem. To se stává velmi užitečným případem použití provozních dat ve většině finančních institucí, a tím se snaží nahradit tradiční mainframy. MongoDB zpracovává flexibilitu a také širokou škálu datových typů při velkých objemech a mezi distribuovanými architekturami.
3. Hunk : Je užitečný při přístupu k datům prostřednictvím vzdálených klastrů Hadoop využitím virtuálních indexů a také používá jazyk zpracování zpracování Splunk, který lze použít pro analýzu dat. Hunk lze použít k hlášení a vizualizaci obrovského množství dat z databází a zdrojů Hadoop a NoSQL. Byl vyvinut týmem Splunk v roce 2013, který byl napsán v jazyce Java.
4. Cassandra : Cassandra představuje nejlepší výběr ze seznamu populárních databází NoSQL, což je bezplatná a open-source databáze, která je distribuována a má široký sloupcový úložný prostor a dokáže účinně zpracovávat údaje o velkých komoditních klastrech, tj. Používá se k poskytují vysokou dostupnost bez jediného bodu selhání. Mezi hlavní funkce patří distribuovaná povaha, škálovatelnost, mechanismy odolnosti proti chybám, podpora MapReduce, laditelná konzistence, vlastnost jazyka dotazu, podpora replikace více datových center a případná konzistence.
Dále můžeme hovořit o různých oblastech technologie velkých dat, tj. Dolování dat.
5. Presto : Jedná se o populární open-source a SQL založený distribuovaný dotazovací stroj, který se používá pro spouštění interaktivních dotazů proti zdrojům dat v každém měřítku a rozsahy velikostí od Gigabajtů po Petabytes. S jeho pomocí můžeme vyhledávat data v systémech Cassandra, Hive, proprietárních datových úložištích a v relačních databázových úložných systémech. Toto je java založený dotazovací stroj, který byl vyvinut nadací Apache v roce 2013. Několik sad společností, které dobře využívají nástroj Presto, jsou Netflix, Airbnb, Checkr, Repro a facebook.
6. ElasticSearch : Toto je dnes velmi důležitý nástroj, pokud jde o vyhledávání. Toto tvoří základní součást zásobníku ELK, tj. Elastické vyhledávání, Logstash a Kibana. ElasticSearch je vyhledávací stroj založený na knihovně Lucene, který je podobný Solru a používá se k poskytování čistě distribuovaného, fulltextového vyhledávače, který je schopný nájemce. Obsahuje seznam dokumentů JSON bez schémat a webové rozhraní HTTP. Je psán v jazyce JAVA a je vyvíjen společností Elastic ve společnosti 2012. Názvy několika společností, které využívají elasticsearch, jsou: LinkedIn, StackOverflow, Netflix, facebook, google, Accenture atd.
Nyní si přečtěte o všech těch velkých datových technologiích, které jsou součástí datové analýzy:
7. Apache Kafka : Známý pro své publikování-předplatné nebo pub-sub, protože je populárně známý jako systém přímého zasílání zpráv, asynchronní systém zprostředkování zasílání zpráv, který se používá k přijímání a provádění zpracování dat v reálném čase. Poskytuje také ustanovení o retenčním období a data mohou být směrována pomocí mechanismu výrobce-spotřebitel. Je to jedna z nejpopulárnějších streamingových platforem, která je velmi podobná systému podnikových zpráv nebo fronty zpráv. Společnost Kafka do dnešního dne uvedla na trh mnoho vylepšení a jedním z hlavních druhů je spojování Kafka, které poskytuje další úroveň vlastností pro společnost Kafka, jako je například Schema registr, Ktables, KSql atd. Byla vyvinuta komunitou Apache Software v roce 2011 a je napsán v Javě. Mezi společnosti, které tuto technologii využívají, patří Twitter, Spotify, Netflix, Linkedin, Yahoo atd.
8. Splunk : Splunk se používá k zachycení, korelaci a indexování datových proudů v reálném čase z prohledávatelného úložiště, odkud může generovat zprávy, grafy, dashboardy, výstrahy a vizualizace dat. Používá se také pro zabezpečení, dodržování předpisů a správu aplikací a také pro webovou analýzu, generování obchodních poznatků a podnikových analýz. Byl vyvinut společností Splunk v Pythonu, XML, Ajaxu.
9. Apache Spark : Nyní přichází nejdůležitější a nejočekávanější technologie v oblasti velkých datových technologií, tj. Apache Spark. Je to pravděpodobně mezi těmi, které jsou dnes nejvíce žádané a pro jejich zpracování využívá Java, Scala nebo Python. Používá se ke zpracování a zpracování dat v reálném čase pomocí Spark Streamingu, který používá dávkování a operace s okny. Spark SQL se používá k vytváření datových rámců, datových sad nad RDD, a tím poskytuje dobrou chuť transformací a akcí, které tvoří nedílnou součást Apache Spark Core. Další komponenty, jako Spark Mllib, R a graphX, jsou také užitečné v případě analýzy a strojového učení a vědy o datech. Technika výpočtu v paměti je tím, co ji odlišuje od ostatních nástrojů a součástí a podporuje širokou škálu aplikací. Byl vyvinut nadací Apache Software především v jazyce Java.
10. Jazyk R : R je programovací jazyk a prostředí svobodného softwaru, které se používá pro statistické výpočty a také pro grafiku v jednom z nejdůležitějších jazyků v R. Jedná se o jeden z nejoblíbenějších jazyků mezi vědci v oblasti dat, horníky dat a odborníci na data pro vývoj statistického softwaru a hlavně pro analýzu dat.
Podívejme se nyní na technologie související s vizualizací dat.
11. Tableau: Jedná se o nejrychlejší a výkonný nástroj vizualizace rostoucích dat, který se používá v oblasti business intelligence. Analýza dat je velmi rychlý stroj, který je možné pomocí Tableau a vizualizace jsou vytvářeny ve formě pracovních listů a dashboardů. Je vyvíjen společností tableau v roce 2013 a je psán v Pythonu, C ++, Java a C. Společnosti, které využívají Tableau, jsou: QlikQ, Oracle Hyperion, Cognos atd.
12. Plotly : Plotly se používá hlavně pro zrychlení a zefektivnění grafů a souvisejících komponent. Má bohatší sadu knihoven a API, jako jsou MATLAB, Python, R, Arduino, Julia atd. To lze interaktivně použít v poznámkovém bloku Jupyter a Pycharm a lze použít ke stylu interaktivních grafů. Bylo poprvé vyvinuto v roce 2012 a napsáno v javascriptu. Těch několik společností, které používají Plotly, jsou paladiny, bitbank atd.
Závěr
V tomto příspěvku jsme studovali špičkové velké datové technologie, které se dnes v široké míře používají. Doufám, že se vám to líbilo. Sledujte nás a získejte další podobné příspěvky.
Doporučené články
Toto je průvodce po velkých datových technologiích. Zde diskutujeme úvod a typy Big Data Technologies. Další informace naleznete také v dalších navrhovaných článcích -
- Co je Splunk Tool?
- R vs Python
- Co je Matlab?
- Co je MongoDB?
- Kroky, které je třeba dodržovat při testování mainframe
- Typy spojení ve Spark SQL (příklady)
- Naučte se různé typy nástrojů Kafka