Úvod do omezeného Boltzmannova stroje

Omezený stroj Boltzmann je metoda, která dokáže automaticky najít vzory v datech rekonstrukcí našeho vstupu. Geoff Hinton je zakladatelem hlubokého učení. RBM je povrchní dvouvrstvá síť, ve které je první viditelná a další skrytá vrstva. Každý jednotlivý uzel ve viditelné vrstvě je připojen ke každému jednotlivému uzlu ve skryté vrstvě. Stroj Boltzmann s omezeným přístupem je považován za omezený, protože dva uzly stejné vrstvy netvoří spojení. RBM je numerický ekvivalent obousměrného překladače. V dopředné cestě přijímá RBM vstup a převádí jej na sadu čísel, která kódují vstup. V zpětné cestě to bere jako výsledek a zpracovává tuto sadu vstupů a převádí je zpět, aby vytvořily zpětné vstupy. Super-vyškolená síť bude schopna provést tento reverzní přechod s vysokou pravdivostí. Ve dvou krocích má váha a hodnoty velmi důležitou roli. Umožňují RBM dekódovat vzájemné vztahy mezi vstupy a také pomáhají RBM rozhodnout, které vstupní hodnoty jsou nejdůležitější při detekci správných výstupů.

Obrábění stroje Boltzmann s omezeným přístupem

Každý viditelný uzel dostává nízkou hodnotu z uzlu v datové sadě. V prvním uzlu neviditelné vrstvy je X tvořeno produktem hmotnosti a přidáno k předpětí. Výsledkem tohoto procesu je aktivace, která produkuje výkon daného vstupního signálu nebo výstupu uzlu.

V dalším procesu by se na jeden skrytý uzel připojilo několik vstupů. Každé X je kombinováno s individuální hmotností, přidání produktu je rozděleno na hodnoty a výsledek je opět aktivován aktivací, čímž se získá výstup uzlu. V každém neviditelném uzlu je každý vstup X kombinován s individuální hmotností W. Vstup X má zde tři závaží, takže dohromady dvanáct. Hmotnost vytvořená mezi vrstvou se stává maticí, kde jsou řádky přesné pro vstupní uzly a sloupce jsou uspokojeny pro výstupní uzly.

Každý neviditelný uzel dostane čtyři odpovědi vynásobené jejich váhou. Přidání tohoto efektu se opět přidá k hodnotě. To funguje jako katalyzátor pro některé aktivační procesy, které se mají uskutečnit, a výsledek je opět veden do aktivačního algoritmu, který produkuje každý výstup pro každý neviditelný vstup.

Prvním odvozeným modelem je model založený na energii. Tento model spojuje skalární energii s každou konfigurací proměnné. Tento model definuje rozdělení pravděpodobnosti pomocí energetické funkce následovně,

(1)

Zde je Z normalizační faktor. Jedná se o oddílovou funkci z hlediska fyzických systémů

V této funkci založené na energii následuje logická regrese, že první krok bude definovat logiku. pravděpodobnost a další definují ztrátovou funkci jako negativní pravděpodobnost.

pomocí stochastického gradientu, kde jsou parametry,

energetický model se skrytou jednotkou je definován jako „h“

Pozorovaná část je označena jako „x“

Z rovnice (1) je rovnice volné energie F (x) definována následovně

(2)

(3)

Záporný gradient má následující tvar,

(4)

Výše uvedená rovnice má dvě formy, kladnou a zápornou. Termín kladný a záporný není reprezentován znaky rovnic. Ukazují účinek hustoty pravděpodobnosti. První část ukazuje pravděpodobnost snížení odpovídající volné energie. Druhá část ukazuje snížení pravděpodobnosti generování vzorků. Pak je gradient stanoven následovně:

(5)

Zde N jsou negativní částice. V tomto modelu založeném na energii je obtížné analyticky identifikovat gradient, protože zahrnuje výpočet

Proto v tomto modelu EBM máme lineární pozorování, které není schopno přesně znázornit data. Takže v dalším modelu Restricted Boltzmann Machine má skrytá vrstva spíše vysokou přesnost a prevenci ztráty dat. Energetická funkce RBM je definována jako,

(6)

Zde W představuje hmotnostní spojení mezi viditelnými a skrytými vrstvami. b je posun viditelné vrstvy.c je posun skryté vrstvy. přeměnou na volnou energii,

V RBM jsou jednotky viditelné a skryté vrstvy zcela nezávislé, které lze zapsat následovně:

Z rovnic 6 a 2, pravděpodobnostní verze funkce aktivace neuronů,

(7)

(8)

Je dále zjednodušeno na

(9)

Kombinace rovnic 5 a 9,

(10)

Vzorkování na stroji Boltzmann s omezeným přístupem

Gibbsův odběr kloubu N náhodných proměnných se provádí prostřednictvím sekvence N vzorkovacích dílčích kroků formuláře kde

obsahuje ostatní náhodné proměnné v kromě.

V RBM je S sada viditelných a skrytých jednotek. Obě části jsou nezávislé, které mohou provádět nebo blokovat odběr vzorků Gibbs. Zde viditelná jednotka provádí vzorkování a dává pevnou hodnotu skrytým jednotkám, současně skryté jednotky poskytují pevnou hodnotu viditelné jednotce vzorkováním

tady, je sada všech skrytých jednotek. Příklad je náhodně vybrána s pravděpodobností 1 (versus 0), a podobně, je náhodně vybrána s pravděpodobností 1 (versus 0)

Kontrastní divergence

Používá se jako katalyzátor k urychlení procesu vzorkování
Protože očekáváme, že je to pravda, očekáváme distribuční hodnota musí být blízká P, takže vytváří konvergenci ke konečné distribuci P

Kontrastní divergence však nečeká na sblížení řetězce. Vzorek je získán až po Gibbově procesu, takže jsme zde nastavili k = 1, kde to funguje překvapivě dobře.

Trvalá kontrastní divergence

Toto je další metoda pro aproximaci vzorkovacího formuláře. Je to trvalý stav pro každou metodu vzorkování, kterou extrahuje nové vzorky pouhou změnou parametrů K.

Vrstvy omezeného Boltzmannova stroje

Omezený stroj Boltzmann má dvě vrstvy, mělké neuronové sítě, které se spojují do bloku hlubokých sítí víry. První vrstva je viditelná vrstva a druhá vrstva je skrytá vrstva. Každá jednotka odkazuje na neuronový kruh nazývaný uzel. Uzly ze skryté vrstvy jsou spojeny s uzly z viditelné vrstvy. Dva uzly stejné vrstvy však nejsou spojeny. Termín Omezený zde označuje žádnou komunikaci uvnitř hry. Každý uzel zpracovává vstup a přijímá stochastické rozhodnutí, zda má vstup přenést nebo ne.

Příklady

Důležitou roli RBM je rozdělení pravděpodobnosti. Jazyky jsou jedinečné svými písmeny a zvuky. Pravděpodobnost distribuce dopisu může být vysoká nebo nízká. V angličtině jsou písmena T, E a A široce používána. Ale v islandštině jsou obyčejná písmena A a N. nemůžeme se pokusit rekonstruovat islandštinu s váhou založenou na angličtině. To povede k divergenci.

Dalším příkladem jsou obrázky. Pravděpodobnostní rozdělení jejich hodnoty pixelů se liší pro každý druh obrazu. Můžeme zvážit, že existují dva obrázky Elephant a Dog pro vlečné vstupní uzly, dopředný průchod RBM bude generovat otázku, jako bych měl vygenerovat silný pixelový uzel pro slonový nebo psí uzel ?. Pak zpětný průchod generuje otázky jako pro slona, ​​jak mám očekávat rozdělení pixelů? Poté s pravděpodobností kloubu a aktivací vytvořenou uzly vytvoří síť se společným výskytem jako velká uši, šedá nelineární trubice, diskety, slon je vráska. Proto RBM je proces hlubokého učení a vizualizace, které tvoří dvě hlavní zkreslení a působí na jejich aktivační a rekonstrukční smysl.

Výhody stroje Boltzmann s omezeným přístupem

  • Omezený stroj Boltzmann je použit algoritmus používaný pro klasifikaci, regresi, modelování témat, filtrování spolupráce a učení funkcí.
  • Omezený Boltzmann stroj se používá pro neuroimaging, rekonstrukci řídkých obrazů při plánování dolů a také pro rozpoznávání cílů Radar
  • RBM je schopen vyřešit problém nevyvážených dat postupem SMOTE
  • RBM najde chybějící hodnoty pomocí Gibbova vzorkování, které se použije na pokrytí neznámých hodnot
  • RBM překonává problém hlučných štítků neopravenými daty štítků a jejich chybami rekonstrukce
  • Problém nestrukturovaných dat je napraven extraktorem funkcí, který transformuje nezpracovaná data na skryté jednotky.

Závěr

Hluboké učení je velmi silné, což je umění řešení složitých problémů, stále je prostor pro zlepšování a je složité provádět. Volné proměnné musí být konfigurovány s opatrností. Myšlenky za neuronovou sítí byly dříve obtížné, ale dnes je hluboké učení základem strojového učení a umělé inteligence. Proto RBM poskytuje pohled na obrovské algoritmy hlubokého učení. Zabývá se základní jednotkou kompozice, která se postupně rozrostla na mnoho populárních architektur a široce používaná v mnoha průmyslových odvětvích.

Doporučený článek

Toto byl průvodce omezeným strojem Boltzmann. Zde diskutujeme o jeho práci, vzorkování, výhodách a vrstvách omezeného Boltzmanna. Další informace najdete také v našich dalších navrhovaných článcích _

  1. Algoritmy strojového učení
  2. Architektura strojového učení
  3. Druhy strojového učení
  4. Nástroje strojového učení
  5. Implementace neuronových sítí

Kategorie:

Velká data