Úvod do strojového učení bez dozoru
Přemýšleli jste někdy o tom, jak je dítě schopno rozlišovat mezi jablky a pomeranči, když neví, co to vlastně je, jak chutná, ale podle barvy a velikosti je může rozdělit do dvou skupin bez jakýchkoli předchozích informací? Můžeme očekávat stejnou segmentaci jako dítě od strojů, pokud dostanou informace o barvě a velikosti? Uvidíme, jak to dokážeme! V tomto tématu se budeme učit o strojovém učení bez dozoru.
„Strojové učení“, jak tento termín napovídá, učíme stroje provádět úkoly podobné lidem a jak se lidé učí, ať už od někoho, nebo pozorováním. Stejně jako lidé, způsob, jakým se stroj učí.
Strojové učení lze rozdělit do 3 částí: -
- Dozorované učení
- Nerušené učení
- Posílení učení
Druhy strojového učení
Učení zesílení je učení založené na agentech, které zahrnuje odměnu a trest za činnosti podniknuté agentem. Konečným cílem je maximalizovat celkovou odměnu v procesu učení se z prostředí.
Pokud máte vstupní a výstupní data, například zkráceně označená data, daná výška a váha k určení, zda je osoba muž nebo žena, lze považovat za úkol učení pod dohledem (od někoho v případě lidí).
V mnoha scénářích skutečného života však tato označená nebo anotovaná data nejsou vždy k dispozici. Mnohokrát čelíme problémům segmentace objektů na základě jejich vlastností, které nejsou výslovně uvedeny. Jak tento problém vyřešit? Řešením je učení bez dozoru.
Wikipedia říká, že učení bez dozoru je typem samoorganizovaného hebbského učení, které pomáhá najít dříve neznámé vzorce v sadě dat bez existujících štítků. V učení bez dozoru nemáme žádné informace o štítcích, ale přesto chceme získat informace z údajů na základě jeho různých vlastností.
Druhy strojového učení bez dozoru
Nedohledávané vzdělávací úkoly lze obecně rozdělit do 3 kategorií:
- Těžba asociačních pravidel
- Shlukování
- Systém doporučení
1. Těžba pravidel těžby
Když máme transakční data pro něco, může to být pro prodané produkty nebo jakákoli transakční data v této věci, chci vědět, existuje nějaký skrytý vztah mezi kupujícím a produkty nebo produkt k produktu, takže nějakým způsobem mohu tyto informace využít pro zvýšení mého prodeje. Extrakce těchto vztahů je jádrem těžby asociačních pravidel. K extrahování vztahů můžeme použít algoritmy růstu AIS, SETM, Apriori, FP.
2. Shlukování
Clustering lze provést jakákoli data, kde nemáme informace o třídě nebo označení. Chceme data seskupit tak, aby pozorování s podobnými vlastnostmi patřila do stejného klastru / skupiny a vzdálenost mezi klastry by měla být maximální. Zatímco vzdálenost uvnitř klastru by měla být minimální. Můžeme seskupit data voličů, abychom zjistili názor na vládu nebo klastrové produkty na základě jejich funkcí a použití. Segmentujte populaci na základě příjmových funkcí nebo použijte seskupování v prodeji a marketingu.
Můžeme použít K-prostředky, K-prostředky ++, K-medoidy, Fuzzy C-prostředky (FCM),
Očekávání-maximalizace (EM), aglomerační klastrování, DBSCAN, typy hierarchického klastru jako jednoduché propojení, úplné propojení, střední propojení, algoritmy Wardovy metody pro shlukování.
3. Systém doporučení
Systém doporučení je v podstatě rozšířením těžby asociačních pravidel ve smyslu, v ARM extrahujeme vztahy a v systému doporučení používáme tyto vztahy k doporučení něčeho, co má vyšší akceptační šance koncového uživatele. Systémy doporučení získaly popularitu poté, co společnost Netflix v roce 2009 vyhlásila velkou cenu ve výši 1 000 000 USD.
Doporučení Systémy pracují na transakčních datech, ať už jde o finanční transakce, elektronický obchod nebo transakce s potravinami. V dnešní době obří hráči v odvětví elektronického obchodování lákají zákazníky tím, že každému uživateli dávají přizpůsobená doporučení na základě jejich minulé nákupní historie a podobných údajů o nákupu chování od ostatních uživatelů.
Metody vývoje systémů doporučení lze široce rozdělit na filtrování založené na spolupráci a filtrování podle obsahu. V kooperačním filtrování máme opět uživatelsko-kooperativní filtrování a kooperativní filtrování mezi položkami, což jsou přístupy založené na paměti a faktorizace matic a rozklad singulárních hodnot (SVD) jsou přístupy založené na modelu.
Aplikace učení bez dozoru
Protože světová data každým dnem ohromně rostou, učení bez dozoru má mnoho aplikací. Neustále vytváříme data pomocí platforem sociálních médií nebo nějakého video obsahu na YouTube a mnohokrát to ani záměrně neuděláme. Všechna tato data jsou nestrukturovaná a jejich označení pro úkoly spojené s učením bude únavné a nákladné.
Následuje několik skvělých aplikací strojového učení bez dozoru.
- Obchod s potravinami nebo e-commerce: Výpis Pravidla asociace od zákazníků transakčních dat a doporučení pro zákazníky, aby si mohli koupit produkty.
- Platforma sociálních médií: extrahujte vztahy s různými uživateli a navrhujte produkty nebo služby. Doporučit novým lidem sociální připojení.
- Služby: Doporučení cestovních služeb, doporučení domů k pronájmu nebo dohazování.
- Bankovnictví: Zákazníci klastru na základě svých finančních transakcí. Clusterová podvodná transakce pro detekci podvodů.
- Politika: Názory voličů klastru na šance na výhru pro konkrétní stranu.
- Vizualizace dat: Pomocí shlukování a distribuovaného t-SNE (t-SNE) můžeme vizualizovat vysokorozměrná data. To lze také použít pro zmenšení rozměrů.
- Zábava: Doporučení pro filmy, hudbu, jak to dělají Netflix a Amazon.
- Segmentace obrazu: Seskupení obrazových částí na základě nejbližších hodnot pixelů.
- Obsah: personalizované noviny, doporučení webových stránek, e-learningové aplikace a e-mailové filtry.
- Strukturální objev: Díky shlukování můžeme objevit jakoukoli skrytou strukturu v datech. Cluster twitter data pro analýzu sentimentu.
Závěr
Strojové učení bez dozoru není příliš kvantifikovatelné, ale může vyřešit mnoho problémů, při nichž selhávají supervidované algoritmy. Existuje mnoho aplikací pro učení bez dozoru v mnoha doménách, kde máme nestrukturovaná a neznačená data. Můžeme použít bezohledné učící techniky k výuce našich strojů k lepší práci než my. V posledních letech stroje překonaly lidi, pokud jde o úkoly, které lidé považují za řešené lidmi po celá staletí. Doufám, že s tímto článkem jste pochopili, co je a jak lze pro řešení skutečných problémů použít techniky strojového učení bez dozoru.
Doporučené články
Toto je průvodce strojovým učením bez dozoru. Zde diskutujeme typy strojového učení a typy strojového učení bez dozoru spolu s jeho aplikacemi. Další informace naleznete také v následujících článcích -
- Algoritmy strojového učení
- Co je strojové učení?
- Úvod do strojového učení
- Nástroje strojového učení
- Shlukování ve strojovém učení
- Hyperparametrické strojové učení
- Hierarchický klastrovací algoritmus
- Hierarchické klastry Aglomerativní a dělící se shlukování
- 8 hlavních fází životního cyklu strojového učení