3.1.4 Teória sietí ART1
3.1.2 Siete triedy ART pre spracovanie binárnych dát
3.1 Teoretický popis metód Adaptive Resonance Theory (ART)

Obsah

3.1.3 Štruktúra a dynamika sietí ART1

Základná architektúra sietí ART1 je tvorená tromi skupinami neurónov (viď Obr. 3.1):

1.

Vstupná vrstva (označovaná $F_{0}$) slúži iba na zaznamenanie hodnôt vstupnej vzorky.

2.

Porovnávacia vrstva (označovaná $F_{1}$), v ktorej sa zisťuje, či je víťazná kategória dostatočne podobná vstupnej vzorke.

3.

Rozpoznávacia vrstva (označovaná $F_{2}$), aktivácia neurónov ktorej určuje víťaznú triedu v danom kroku hľadania.

Vrstvy $F_{1}$ a $F_{2}$ tvoria tzv. krátkodobú pamäť (STM - short term memory), pretože sa v nich uchovávajú informácie týkajúce sa iba jednej prezentácie vzoriek, zatiaľ čo linky spájajúce tieto dve vrstvy úplným obojsmerným prepojením, tvoria dlhodobú pamäť (LTM - long term memory), keďže uchovávajú informácie o všetkých doteraz naučených kategóriách. Medzi vrstvami $F_{1}$ a $F_{2}$ oscilujú signály vyvolané prezentáciou vzorky na vstupe, a v prípade, že porovnávacia vrstva vyhodnotí, že odozva rozpoznávacej vrstvy reprezentuje prezentovanú vzorku dostatočne, nastáva rezonančný stav a následne adaptácia liniek medzi víťazným rozpoznávacím neurónom a všetkými neurónmi v komparačnej vrstve $F_{1}$.

Obrázok 3.1: Architektúra neurónovej siete ART1

Okrem týchto troch vrstiev neurónov ($F_{0}$, $F_{1}$ a $F_{2}$) sieť obsahuje niekoľko ďalších špeciálnych neurónov slúžiacich k riadeniu jej činnosti. Neuróny Zisk1 a Zisk2 sĺúžia výlučne k synchronizácii siete. Ich úlohou je rozhodovať, kedy sa môžu aktivovať vrstvy $F_{1}$ a $F_{2}$. Riadiaci neurón Reset má úlohu definovanú priamo v algoritme učenia siete. Tento neurón rozhoduje na základe porovnania vstupnej a komparačnej vrstvy o tom, či nájdená víťazná kategória v rozpoznávacej vrstve spĺňa definované kritéria. V prípade, že kritérium podobnosti splnené nebolo, signál z tohto neurónu zmrazí aktuálneho víťaza vo vrstve $F_{2}$ na celý zvyšok prezentácie danej vzorky, čím umožní pokračovať v hľadaní lepšej triedy, prípadne vytvoriť triedu novú. Na obrázku sú informačné linky označené bielymi a riadiace linky čiernymi šípkami. Každá čierna čiara, aj keď to na obrázku nie je vyznačené, predstavuje linky od všetkých, resp. ku všetkým neurónom vrstvy, z alebo do ktorej smeruje. Základnou bázou, na ktorej sú siete ART postavené, je konkurenčné učenie (competitive learning), ktoré sa uskutočňuje medzi vrstvami $F_{1}$ a $F_{2}$. Neuróny vrstvy $F_{2}$ majú okrem vstupov z vrstvy $F_{1}$ aj záporné prepojenia medzi sebou a kladnú spätnú väzbu na seba samých, čo spôsobí, že neurón, ktorý má najväčšiu hodnotu aktivácie potláča aktiváciu neurónov ostatných, až kým sa po niekoľkých propagáciách aktivácia všetkých ostatných neurónov neustáli na nule. Linky vedúce k víťaznému neurónu sa potom nastavia na takú hodnotu, že pri opakovanej prezentácii danej vzorky bude aktivácia víťaza ešte väčšia. Takéto správanie sa siete sa nazýva tiež víťaz berie všetko (winner takes all) . Učiaci cyklus sa začína spracovaním vstupnej vzorky vo vrstve $F_{0}$. Neurón Zisk1 v ďalšiom kroku zabezpečí, že vzorka sa nezmenená dostane do porovnávaciej vrstvy. Tento neurón má jednotkovú hodnotu na výstupe iba v prípade, že na vstupe je nenulová hodnota a zároveň nie je aktivovaný ani jeden neurón vo vrstve $F_{2}$. A keďže neuróny vo vrstve $F_{1}$ sa aktivujú podľa tzv. Pravidla 2/3 , ktoré vraví že neurón je aktívny práve vtedy, ak sú aktívne dva z jeho troch vstupov ( Zisk1, $F_{0}$, $F_{2}$), za daného stavu (vrstva $F_{2}$ neaktívna, Zisk1 aktívny, vrstva $F_{0}$ obsahuje vstup) sa vstup nezmenený skopíruje do vrstvy $F_{1}$. Vrstva $F_{1}$ je v smere zdola nahor plne prepojená s vrstvou $F_{2}$. Týmito prepojmi je vzorka propagovaná ďalej k porovnávacím neurónom. A práve tu nastáva konkurenčné učenie, takže sa nájde práve jeden víťazný neurón, ktorého výstupná hodnota sa nastaví na 1, výstupné hodnoty ostatných sa vynulujú. Týmto bola predbežne určená trieda, o ktorej sieť ,,predpokladá'', že by do nej mala byť zatriedená prezentovaná vzorka. Čiže, ak máme vo vrstve $F_{2}$ $M$ neurónov, neaktívnych bude práve $M-1$ z nich, a aktívny bude iba jediný víťaz. Táto aktivačná vzorka je spätne propagovaná cez linky spájajúce vrstvy $F_{2}$ a $F_{1}$ zhora nadol. V tomto momente je už ale výstupná hodnota neurónu Zisk1 nulová, keďže vo vrstve $F_{2}$ je už jeden neurón aktívny. Takže vo vrstve $F_{1}$ budú teraz aktivované iba tie neuróny, ktoré získali pozitívny signál zároveň od im zodpovedajúceho vstupného neurónu, ako aj od víťaza vo vrstve $F_{2}$. Na začiatku učenia sú váhy všetkých liniek inicializované na hodnotu 1. To znamená, že ak v rozpoznávacej vrstve vyhral predtým nepoužitý neurón, v porovnávaciej vrstve sa opäť objaví nezmenená vstupná vzorka. V prípade, že víťaz $F_{2}$ je už naučený na klasifikáciu nejakej inej vzorky, sú váhy niektorých od neho vedúcich liniek nulové, čo znamená, že zodpovedajúce neuróny vo vrstve $F_{1}$ sa neaktivujú, aj keď zo vstupu k ním prichádza jednotkový signál. Z toho vyplýva, že vektor reprezentovaný porovnávacou vrstvou tvorí vždy podmnožinu vstupného vektora. Teraz musí sieť rozhodnúť o tom, či predpokladaná trieda skutočne klasifikuje prezentovanú vzorku. To sa deje porovnaním podobnosti vektorov $F_{0}$ a $F_{1}$. Ak sa zistí, že zhoda vektorov $F_{0}$ a $F_{1}$ je dostatočne veľká, nasleduje úprava váh medzi vrstvami $F_{1}$ a $F_{2}$. Váhy liniek smerujúcich do $F_{2}$ sa nastavia tak, aby bola pri opakovanej prezentácii danej vzorky víťazná trieda zvolená priamo. Dolesmerujúce linky sa nastavia na rovnaké hodnoty, aké majú aktivácie neurónov vo vrstve $F_{1}$. To znamená, že do týchto váh sa uloží vzorka tvoriaca prienik medzi aktuálnou vzorkou a pôvodným klasifikačným kódom víťaznej triedy. V prípade, že podobnosť vektorov $F_{0}$ a $F_{1}$ nie je dostatočná, aktivuje sa Reset , ktorý spôsobí zmrazenie aktuálneho víťaza na zvyšok prezentácie, čo znamená, že jeho výstupná hodnota ostane až do jej konca nulová. Tým sa sieť dostala do stavu zhodného s počiatočným a celý cyklus sa opakuje aktiváciou neurónu Zisk1, skopírovaním vstupu do porovnávacej vrstvy atď., až kým sa nenájde zodpovedajúca klasifikačná trieda, ktorá vygeneruje dostatočne podobný porovnávaci vektor $F_{1}$, alebo kým sa neodskúšajú všetky možné triedy, a ani jedna z nich nesplní kritérium podobnosti, čo znamená, že k dispozícii nie je dostatočné množstvo tried. Stručne sa algoritmus učenia ART1 dá zhrnúť do týchto bodov:

1.

prezentácia novej vzorky

2.

nájdenie víťaza vo vrstve $F_{2}$

3.

otestovanie navrhovaného víťaza vo vrstve $F_{1}$

4.

v prípade, že test zlyhal a vo vrstve $F_{2}$ sú ešte neotestované neuróny, zmrazenie víťaza a prechod na bod 2, inak koniec

5.

adaptácia váh medzi vrstvami $F_{1}$ a $F_{2}$

CIG Homepage(E-mail us!)