Co je datový sklad?
V jazyce výpočetní techniky je datový sklad také zkráceně DW nebo DWH, známý také jako EDW (Enterprise datový sklad), což je systém používaný pro hlášení a analýzu dat na surovém kusu dat. Je považována za jednu z nejdůležitějších a kritických složek obchodní inteligence. Jsou to centrální úložiště integrovaných dat, která jsou získávána z více než jednoho zdroje. Aktuální a historická data jsou v nich uložena na jednom místě. To se používá k vytváření analytických zpráv pro všechny pracovníky v celém podniku. Data uložená ve skladu jsou nahrávána z operačních systémů, které jsou obvykle marketingové nebo prodejní. Tato data pak procházejí provozním datovým úložištěm a mohou také vyžadovat vyčištění dat, jen aby se zajistilo, že jsou dodána správná kvalita dat, než jsou použita v datovém skladu pro hlášení. Poté přichází činnost ETL (extrakt, transformace, načtení), která využívá klíčování, fázování, integraci dat a přístupové vrstvy.
Definice:
Lze ji definovat jako velký datový sklad kumulovaných dat přijatých z celé řady zdrojů v rámci firmy, a proto se používá jako vodítko při rozhodování o řízení. Lze ji také definovat jako techniku sběru a správy dat z celé řady zdrojů k vytvoření smysluplných poznatků po použití některé základní úrovně transformačních procesů, čímž je výroba připravena na podnikání. Jedná se o směs komponent a technologií, aby bylo možné strategicky využívat data.
Porozumění datovému skladu:
Pokud se pokusíme pochopit pojem skladování dat ve velmi jednodušších termínech, znamená to systém, který se používá k hlášení a ukládání dat. Data jsou zpočátku generována v několika systémech, jako je nějaká forma RDBMS, Oracle, Mainframes atd., Pak jsou přesunuta do datového skladu pro dlouhodobé uložení, takže mohou být použita pro analytické účely. Toto úložiště je strukturováno tak, že uživatelé z mnoha divizí nebo oddělení jedné organizace mohou přistupovat k datům a analyzovat je podle svých vlastních potřeb a požadavků. Datové sklady jsou analytické nástroje, které jsou vytvořeny výhradně za účelem podpory v rozhodovacím procesu a systému pro podávání zpráv uživatelům pro mnoho oddělení. Jsou to také archivní data, která se skládají z historických dat o využití organizace, která není konkrétně udržována v operačních systémech. V podstatě se používají k vytvoření jediné verze pravdy pro celou organizaci.
Jak datový sklad usnadňuje práci
Udržuje kopii informací a dat ze zdrojových transakčních systémů. To také:
- Integruje data z více zdrojů a vloží do jedné databáze nebo modelu, tedy jediného dotazovacího stroje
lze použít k vložení dat do ODS (úložiště provozních dat). - Pomáhá při zmírňování problému se zámkem úrovně izolace databáze, který byl obecně způsoben velkými, dlouhodobými analytickými dotazy.
- Historie dat je zachována, i když je zdrojové transakční systémy neudržují.
- Jakmile jsou všechna data vložena z více zdrojů, lze zobrazit centrální pohled na podnik.
- Zlepšuje se konzistence kódu a popisy a dokonce i opravování chybných dat. V zásadě ovlivňuje celkovou kvalitu dat.
Nejlepší společnosti:
- Teradata: Tato společnost je na prvním místě v seznamu, pokud jde o práci s technologií datového skladu. Přináší na stůl více než 30 let historie. Společnost má svůj vlastní Teradata software, který používá většina společností zabývajících se datovým skladem ve svých organizacích, zejména všechny banky. Tato společnost má vždy nové novinky, které přináší, včetně nejnovějších technologií založených na Hadoopu.
- Oracle: Toto je tradiční společnost, která jako první udeří na mysl, když mluvíme o relačních databázích. Databáze 12c byla nepřekonatelná a je známá svými vysoce výkonnými standardy, měřítkem a optimalizovaným skladováním dat. Techniky komprese jsou nové funkce poskytované touto společností v prostoru datového skladu.
- Amazon Web services: Tento IaaS Amazon v prostoru cloud computingu je o celé transformaci a migraci datového úložiště a skladování do cloudu dal datovému skladování zcela novou definici.
- Cloudera: Patří mezi nejlepší společnosti v oblasti datového skladu a technologie velkých dat, protože poskytuje EDH (Enterprise data hub) pro velké množství datových úložišť, které se zaměřují na dávkové zpracování. Jejich datový sklad je založen na CDH.
- MarkLogic: Tato společnost poskytuje databázovou platformu NoSQL. To dalo novou dimenzi, když společnosti začaly věřit moci NoSQL poté, co byla zavedena touto společností.
Co můžete dělat s datovým skladem?
- Těžba
- Čištění
- Proměna
- načítání
- Obnovit
- Předpověď
- Statistická analýza
- Rozhodování
Práce s datovým skladem:
Nezpracovaná data jsou nejprve naformátována, nazývaná také očištění a normalizace, přičemž jsou zpracována a transformována podle obchodních požadavků a odstraněna nekonzistence ze surových dat. Poté se uloží do samotného datového skladu. Přístupová vrstva umožňuje aplikacím a nástrojům načítat e data ve formátu vhodném pro jejich potřeby. Existuje další aspekt architektury, který zahrnuje část týkající se metadat, která se používá hlavně vědci a inženýři ke shromažďování informací o zdrojích, názvových konvencích, aktualizačních harmonogramech atd.
Výhody:
- Integrace více zdrojů
- Provádění nové analýzy
- Snížené náklady na přístup k historickým datům
- Standardní jediná verze pravdy
- Pomáhá ve zkrácení doby pro analýzu a reporting dat
Dovednosti:
- Široká vize
- Komunikační dovednosti
- Porozumění datům a procesům
- Schopnost analyzovat
- Obecné znalosti systémů a aplikací
Proč bychom měli používat ukládání dat:
Měli bychom používat datové sklady, abychom mohli naší organizaci poskytnout jedinou verzi pravdy s požadovanými daty a bez dalších výpočetních nákladů na zpracované transakční zdroje. OLAP se postará o analytickou část zpracování, a proto lze pomocí datového skladu poskytnout i obchodní informace a smysluplné generování informací.
Rozsah:
Rozsah datového skladu je v jakékoli doméně, která má co do činění s analytikou a v dnešní době také v cloudové doméně. Můžete se stát DW inženýrem nebo konzultantem, nebo dokonce udělat bezproblémovou cestu do velkých datových technologií. Můžete se také těšit na to, že jste datový vědec. Rozsah dat je nekonečný, stejně jako rozsah datových skladů.
Proč potřebujeme datový sklad?
Potřebujeme datový sklad, protože nemá smysl vůbec využívat více zdrojových systémů a nedokáže okamžitě získat všechny požadované informace. Také historické údaje, pokud nejsou zpřístupněny, nepředstavují organizaci jako celek velkou výhodu. Vytváření smysluplných informací ze surových dat lze proto provádět pomocí nástrojů pro analýzu a dotazování, a proto se do obrázku dostává skladování dat.
Kdo je tím pravým publikem pro výuku technik skladování dat?
Každý, kdo má správné myšlení, širokou vizi, je dobrý v datovém drcení, má dobré dotazovací schopnosti, má zájem o technologie související s daty, má dobré analytické dovednosti, je ideálním kandidátem na učení se a použití technologií skladování dat.
Jak tato technologie pomůže v kariérním růstu?
Tato technologie dělá nejkritičtější část každé organizace, která je drcení dat a schopnost generovat náhledy analýzou. To, čeho lze dosáhnout využitím této technologie, je tedy generování smysluplných informací ze surových dat. Můžete se také podívat na transformaci vaší cesty do ekosystému velkých dat a pozdější vědy o datech, pokud znáte jeho základnu.
Závěr:
Skladování dat bylo dosud páteří mnoha organizací a bude tomu tak i nadále. Doména a definice se však každým dnem mění, protože se objevuje tolik nových technologií a nástrojů. Cesta do tohoto prostoru je jedním z nejlepších rozhodnutí v oblasti analytiky, protože to tvoří základ a pomáhá vám přesně pochopit, jak zpracování dat funguje a jaké procesy na pozadí se s ním řídí. Doufám, že se vám ten článek líbil. Pokračujte ve čtení pro další informace.
Doporučené články
Toto byl průvodce skladem What is Data. Zde jsme diskutovali o výhodách, požadovaných dovednostech a růstu kariéry datového skladu. Další informace naleznete také v dalších navrhovaných článcích -
- Co je to Data Analytics
- Co je dolování dat?
- Co je Big data a Hadoop
- Co je to umělá inteligence