Techniky velkých dat: soutok technologie a obchodní analýzy
Confluence of Technology & Business analytics -
Před dlouhou dobou muži vedou kočovný život a poté se postupně obracejí k zemědělství. Vynález kola, požárního a parního motoru je často považován za zlom ve vývoji lidstva směrem k mechanizaci a zvýšenému životnímu pohodlí.
Podobně i legendární Newtonův zákon pohybu a gravitace, Einsteinova teorie relativity, která nyní slaví 100. ročník, nebo zákon termodynamiky, všechny revolucionizovaly vědu a ovlivnily aplikovanou vědu. Vynález počítače, příchod osobního počítače a grafické uživatelské rozhraní (GUI) jsou milníky ve vývoji v digitální éře. Byly to binární čísla nula a čísla, která jsou jádrem jazyků na úrovni shromáždění.
Binární až velké datové techniky
Na hardwarové úrovni nul a ty napájí obvody v počítači, na obchodní úrovni jsou to velké datové techniky, které mění situaci v tom, jak společnosti vymýšlejí marketingové strategie, aby zůstaly konkurenceschopné. Mohlo by to být složeno z něčeho od jednociferných a vícenásobných číslic, které obsahují důležité informace o trhu, fungování stroje, lidského těla, transakcích elektronického obchodování nebo jen o jakékoli každodenní činnosti, která může nebo nemusí mít cokoli co do činění s nákupem nebo prodejem.
Je obvyklé, že podniky a účetní znalci hovoří o aktivech a pasivech. Obvyklá aktiva označovala stroje, technologie, know-how, lidské zdroje, infrastrukturu a také finanční aktiva.
Nyní dochází k posunu paradigmatu, spolu s těmito hmotnými aktivy, některé kousky jedné a více číslic nebo dat se staly nejcennějším aktivem, protože organizace a trhy rostou. Z hlediska marketingu a strategie velkých dat se data stala nejdůležitější výhodou.
Podniky rostou co do velikosti a rozsahu. Už není malá krásná nebo životaschopná. Operace ve více zemích, velká centra a podniky elektronického obchodování s velkým objemem zavedly nový trend na celém světě. K úspěchu v této velké obchodní data a analýza dat se stala kritickou. Podniky jsou po Big Data Hadoop, aby je využily, získaly tržní inteligenci a pochopily požadavky zákazníků.
Soutok technologie a analýzy dat
Zdroj obrázku: pixabay.com
Techniky velkých dat, které organizace mají, budou bezvýznamné, pokud nebude existovat podpůrná technologie pro těžbu dat, jejich zpracování a organizace pro podniky, aby mohly využívat tento zásadní přínos. Bernard Marr, renomovaný spisovatel a analytik řekl, že společnosti bez ohledu na jejich velikost, ať už se jedná o společnost Fortune 500 nebo malou matku a pop obchod, by vyžadovaly použití Hadoop Big Data, což je změna, kterou přináší podnikům.
Techniky velkých dat jsou sbírkou velkých datových souborů a jsou ve velkém množství, které jsou pro analýzu a vytváření smysluplných informací od nich vyžadovány sofistikované programy. Mohlo by to být nákupní návyky, frekvence chodit do kina, přihlašovací webové stránky, online nákup, objednávání potravin, frekvence měnících se mobilních telefonů atd.
Různé nástroje, rámce a techniky se používají k analýze rozsáhlých datových sad a v tomto odvětví se staly vyhledávaným odvětvím. Podle odborníků nejsou důležitá data, ale to, co společnost s těmito údaji dělá.
Mezi různými technologiemi a platformami se Hadoop stal nejoblíbenějším, i když může mít své nevýhody. Jedná se o vývojovou platformu s otevřeným zdrojovým kódem, která je napsána na C, C ++, Java a pomáhá organizacím analyzovat obrovské množství dat v reálném čase.
Techniky velkých dat v reálném čase
Shromažďování, ukládání, přesun a analýza není statická aktivita, ale také dynamická činnost zahrnující prostředí v reálném čase. Data jsou průběžně shromažďována pro letadla, automobilové motory, monitory připojené k pacientům v nemocnicích, online kreditní nebo debetní transakce, které vyžadují sofistikované algoritmy, programy, architekturu velkých dat a robustní schopnost zpracování v paměti.
John Schroeder, generální ředitel společnosti MapR, řekl, že mají aplikace Big Data, které chrání miliony držitelů karet American Express před podvodnými transakcemi, a ve zdravotnictví pracují na poskytování zlepšených léčebných postupů pacientům s rakovinou.
Globální IT velitelé jako Microsoft, Oracle, SAP, IBM jsou všichni na cloudové platformě a také umožňují řešení na technikách velkých dat.
Techniky velkých dat a internet věcí
Rychlé změny v technologii webu a vestavěné technologie umožnily propojit velké množství zařízení, která jsou schopna odesílat data v reálném čase. Objevil se internet vytvořený spíše ze „věcí“ než lidí a počítačů.
Každé zařízení, které nosíme nebo používáme, je schopné ukončit data, která by zase měla rozsáhlé aplikace mimo jiné v oblasti marketingu velkých dat, designu, zdravotnictví.
Těžba dat
Nyní jsou rozmístěny výkonné superpočítače k těžbě dat z relačních databází a pomáhají statistikům a analytikům vytvářet modely. Několik inovátorů přišlo s nástroji pro vývoj modelů pro prediktivní analýzu velkých dat pro lepší rozhodování podniků. Poskytují také snadné grafické uživatelské rozhraní (GUI) a jsou velmi uživatelsky přívětivé.
Kariéra v technikách velkých dat
Revoluce v technikách velkých dat přirozeně stačila pro vznik nového plemene odborníků, kteří jsou spojeni se specifickými oblastmi této analýzy a technologie velkých dat. Mezi technologické dovednosti, které jsou v poptávce horké, patří Apache Hadoop, Apache Spark, NoSQL, strojové učení a dolování dat, statistická a kvantitativní analýza, SQL, vizualizace dat, vědci, univerzální programovací jazykové dovednosti. Podle analytiků se příležitosti v příštím desetiletí budou zvyšovat díky rychlému vývoji v této oblasti.
V roce 2015 skutečně existuje velká poptávka po odborných znalostech v oblasti velkých datových technik, kdy společnost IBM během posledních dvanácti měsíců v červnu inzerovala 2 307 pozic, uvedl časopis Forbes v polovině roku. Inzerovaná mzda pro technické profesionály s trénováním velkých dat je 104 850 $. Nejvyhledávanější dovednosti byly odborné znalosti VMWare, vývoj aplikací, open source technologie, datové sklady a programovací dovednosti Python.
V tomto odvětví jsou špičkovými technologiemi a službami Big Data profesionální, vědecké a technické služby, které představují 25% poptávky. Mezi další přední kategorie patří informační technologie 17%, výroba 15%, finance a pojištění 9% a maloobchod 8%.
Výhody analýzy velkých dat
1) Ukládání, těžba a analýza dat:
Technologie velkých dat umožnily nasazení uložených i real-time dat pro celou řadu obchodních a kritických aplikací
2) Predikce a predikce trhu:
V éře před velkými datovými technikami byly společnosti nuceny provádět smysluplnou analýzu dat v reálném čase nebo prediktivní analýzu v nepřítomnosti technologie. Ukázkové průzkumy a zpětné vazby od zákazníků nabídly strategickým zákazníkům jediné řešení, které inovuje s novými nabídkami na trhu.
3) Podniky generují velké množství údajů a v předchozích letech, s nedostatečnými nástroji velkých dat pro jejich shromažďování a analýzu, podniky s nimi nepoužívaly důležitý majetek.
4) V reálném čase velké datové obchodní prostředí, hackerství a krádež dat mohou kriticky ovlivnit fungování organizace, důvěru jejích zákazníků a učinit je zranitelnými vůči dalším útokům po lince. Ukázalo se, že velká data a Hadoop pomáhají organizacím detekovat krádeže dat. Metodiky krádeží dat se vyvíjejí rychleji než metodiky proti krádeži nebo preventivní činnosti.
Je technika velkých dat jediným požadavkem na úspěch
Vztek vytvořený velkými daty nevyšel dobře s některými kritiky, kteří poukazují na některé problémy spojené s jeho nasazením v průmyslu. Někteří analytici se ptali, zda existuje pozitivní návratnost investic (RoI), a stojí za to čas a úsilí vynaložené na jejich realizaci. Druhým je s ohledem na velký objem dat a analýzy, které nemusí vysvětlit „proč“ k takovému chování spotřebitelů dochází.
Analýzu velkých dat lze efektivně využít ve spojení s tradičními metodikami průzkumu (tlustá data), která mapují demografické vzorce v chování úspor, investic, nákupu a výdajů napříč regiony, což dává širší pochopení trhu. Nástroje Big Data mohou poskytnout obraz o tom, co se stalo a jak, ale „proč“ se to dá pochopit pouze širokým porozuměním konkrétního spotřebitele nebo regionu založeného na demografickém profilu, preferencích životního stylu, výdajových návycích mimo jiné, podle skeptiků společnosti Big Datové nástroje.
Hlavní trendy v technologii Big Data
Podle Johna Schroedera, generálního ředitele a spoluzakladatele společnosti MapR, která dodává řešení pro společnost Big Data, předpovídala vznikající trendy pro rok 2015 a většina z nich se zdála být pravdivá.
Data Hubs to Data Lakes: Datová jezera se škálovatelnou infrastrukturou se zdají být upřednostňována, protože jsou ekonomicky atraktivní s nižšími náklady na terabajt).
Samoobsluha: Samoobslužné nástroje velkých dat umožní vývojářům, datovým vědcům a analytikům dat přímo provádět průzkum dat.
Rychlost dat
Jak se databáze rozšiřuje a vyžaduje se rychlejší zpracování, zdá se, že starší systémy tento proces zpomalují. Ukázalo se, že starší databáze a sklady jsou příliš pomalé, a organizace se proto dívají na to, jak agilní je jejich zpracování dat.
Hadoop ve fázi inovací: Hadoop zůstává ve fázi inovací a Shroeder se domnívá, že pravděpodobně dochází k více variantnímu modelu softwaru s otevřeným zdrojovým kódem v kombinaci s hlubokými inovacemi a rozvojem komunity.
Bezpečnostní výzva
Velké úložiště a zpracování dat jsou nyní stále více ohroženy bezpečnostními hrozbami v otevřeném zdrojovém systému Hadoop. Bezpečnostní funkce jsou však stále v souladu s takovými hrozbami a zejména ve srovnání s bezpečnějšími systémy plánování podnikových zdrojů (ERP) a relačními databázemi.
Cloud Computing
Rychlý pokrok v cloud computingu umožňuje i malým a středním podnikům využívat SaaS (software jako služba), platforma jako služba (PaaS) a další platformy poskytované prodejci, které jim umožňují využívat velké datové služby za mnohem levnější náklady, za které nejsou vyžadovány nákladné licenční poplatky a instalace.
Podle renomovaného autora a analytika Bernarda Marra jsou v cloudovém prostoru prostřednictvím SaaS rozmístěny sofistikované algoritmy, které poskytují přesnější představu o tom, kdy, jak a proč se produkt prodává. Cituje Charlieho Crockera z AutoDesku a poukazuje na to, že až do příchodu zpětné vazby od zákazníků Big Data bylo obtížné cvičení, ale díky sofistikovaným algoritmům, které jsou nyní v práci, mohou velké datové společnosti lépe porozumět chování spotřebitelů a vytvářet pro ně produkty.
Budoucnost nástrojů Big Data je jasná
Společnost International Data Corp předpovídá, že velký datový trh poroste v ročním tempu růstu 23% do roku 2019, přičemž roční výdaje v roce 2019 dosáhnou 48, 6 miliard USD. IDC se domnívá, že tři hlavní dílčí trhy: infrastruktura, software a služby v následujících pěti výrazně porostou roky, se softwarem - správa informací, objevování a analytika a aplikační software - vedoucí poplatek s CAGR 26%.
IDC předpovídá, že služby, včetně profesionálních a podpůrných služeb pro infrastrukturu a software, porostou na CAGR o 22, 7 procenta. Předpovídá, že infrastruktura - sestávající z výpočetní techniky, sítí, infrastruktury úložišť a další bezpečnosti podobné datovým centrům - poroste na CAGR o 21, 7 procenta a do roku 2019 bude představovat zhruba polovinu všech výdajů.
"Schopnost využívat velká data a analytiku k vytvoření integrovaného pohledu na zákaznické činnosti a obchodní operace poskytne konkurenční diferenciaci společnostem napříč průmyslovými odvětvími, " uvedla nedávno Jessica, Goepfert, programová ředitelka IDC Global Technology and Industry Research Organization. „Kromě velkých příležitostí však velká data představují některá významná rizika a
Digitální transformace (DX) povede během následujících několika let „vše, na čem v IT záleží“. Úspěch v tom, co IDC nazývá ekonomika DX, znamená použití technologií, jako jsou mobilní, cloud, velké nástroje pro analýzu dat, IoT, AI a robotika, „k vytvoření konkurenční výhody prostřednictvím nových nabídek, nových obchodních modelů a nových vztahů se zákazníky, dodavateli a distributory, “Podle Franka Gense, hlavního analytika IDC.
Klíčové cesty z předpovědí IDC
- Do roku 2020 bude téměř 50% rozpočtu na IT navázáno na iniciativy DX (digitální transformace).
- Do roku 2018 budou vedení firmy Line of Business (LOB) ovládat 45% + veškerých výdajů na IT na celém světě, více než 60% v USA
- Do roku 2017 bude více než 50% výdajů na IT vynaloženo na nové technologie (mobilní, cloud, velké datové nástroje atd.).
- I s rychle se vyvíjejícími technologiemi a platformami je pochybné, zda budou všechna dostupná data analyzována, ani by to nebylo nutné, uvedli někteří odborníci. Důležité je, zda jsou příslušné údaje identifikovány a analyzovány ve prospěch zúčastněných stran.
Doporučené články
Zde je několik článků, které vám pomohou získat více podrobností o technikách velkých dat, takže stačí projít odkaz.
- 8 Nejužitečnější průvodce otázkami rozhovoru s velkými daty
- Proč je inovace nejkritičtějším aspektem velkých dat?
- Top 5 trendů velkých dat, které budou společnosti muset zvládnout
- Co jsou dovednosti NOSQL při budování kariéry velkých dat
- Průvodce úvodem do těžby dat