4. Modulárne neurónové siete
3.1.3 Štruktúra a dynamika sietí ART1
3.1 Teoretický popis metód Adaptive Resonance Theory (ART)

Obsah

3.1.4 Teória sietí ART1

Zo slovného popisu dynamiky vyplývajú pre aktiváciu jednotlivých vrstiev neurónov tieto vzťahy:

• Neuróny vo vrstve $F_{1}$ sa správajú podľa Pravidla 2/3 , čo sa dá zapísať:
  

  $$x_{i}=\left\{ \begin{array}{ll} 1 & \mbox{ak}\ I_{i} +... ...1 + \tilde w,\\ 0 & \mbox{inak}, \end{array} \right.$$ (3.1)

  
  
  kde $I_{i}$ je vstup $F_{0} \rightarrow F_{1}$, $g_{1}$ je výstupná hodnota neurónu Zisk1 a $\sum y_{j} w_{ji}$ je suma výstupných hodnôt $y_{j}$ vo vrstve $F_{2}$ vážená trénovateľnými váhami $w_{ji}$. $\tilde w$ je konštanta z intervalu
  

  $$0 < \tilde w~< 1.$$ (3.2)

  
  

• Neurón Zisk1 sa aktivuje podľa nasledovného pravidla:
  

  $$g_{1}=\left\{ \begin{array}{ll} 1 & \mbox{ak}\ \sum_{i}... ...} y_{j} \leq 0,\\ 0 & \mbox{inak}, \end{array} \right.$$ (3.3)

  
  
  to znamená, že k tomu aby bolo $g_{1}$ aktívne, musia byť všetky neuróny vo vrstve $F_{2}$ neaktívne a na vstupe musí byť nenulová hodnota. Takže, ak je $F_{2}$ neaktívne, rovnica (3.1) sa redukuje na:
  

  $$x_{i}=\left\{ \begin{array}{ll} 1 & \mbox{ak}\ I_{i} = 1,\\ 0 & \mbox{inak}, \end{array} \right.$$ (3.4)

  
  
  Inak je aktívny práve jeden neurón $y_{J}$ vo vrstve $F_{2}$. Vtedy sa rovnica (3.1) zmení na:
  

  $$x_{i}=\left\{ \begin{array}{ll} 1 & \mbox{ak}\ I_{i} =... ...{Ji} > \bar z,\\ 0 & \mbox{inak}, \end{array} \right.$$ (3.5)

  
  

• Pre definíciu aktivácie neurónov vo vrstve $F_{2}$ sa zavádza premenná $T{j}$, ktorá udáva vstup zo siete do j-tého neurónu, takto:
  

  $$T_{j} = \frac {\sum_{i=1}^{N}x_{i}w_{ij}} {\alpha+\sum_{i=1}^{N}w_{ij}}$$ (3.6)

  
  
  kde $w_{ij}$ sú váhy $F_{2} \rightarrow F_{1}$. Potom, za predpokladu, že existuje také $j$, že $T_{j} > 0$, ako víťazná bude zvolená trieda $J$, pre ktorú platí:
  

  $$T_{J} = \max \limits_{1 \leq j \leq M}\{T_{j}\}$$ (3.7)

  
  
  Takto by sa mohlo stať, že zároveň niekoľko neurónov vo vrstve $F_{2}$ nadobudne rovnakú maximálnu hodnotu:
  $T_{J_{1}} = T_{J_{2}} =\dots= T_{J_{k}} = \max \limits_{1 \leq j \leq M}\{T_{j}\},$
  čo by znamenalo nejednoznačného víťaza a nasledujúci postup by sa značne skomplikoval. Preto sa vždy uvažuje, že víťaz je jednoznačný, a to ten s najmenším indexom.
• Neurón Zisk2 má funkciu analogickú s neurónom Zisk1, a to blokovať všetky neuróny vo vrstve $F_{2}$. V priebehu učenia ART1 je dôležité, aby bola táto podmienka platná iba pri prezentácii novej vzorky, takže neurón Zisk2 sa aktivuje práve len v tomto momente.

Predtým, než budú popísané pravidlá pre učenie, si definujeme význam označenia, ktoré je ďalej používané. Ak $\bar a$ je binárny vektor s $L$ zložkami, čiže $\bar a=(a_{1},a_{2},\dots,a_{L})$, potom $norma$ tohoto vektora je definovaná nasledovne:

$${\vert{\bar a}\vert} = \sum_{i=1}^{L} a_{i},$$ (3.8)

čo značí, že ${\vert{\bar a}\vert}$ udáva počet jednotiek vo vektore $\bar a$. Ďalej si definujeme prienik dvoch vektorov $\bar a$ a $\bar b$ ako vektor $\bar c \equiv \bar a \cap \bar b$, kde

$$c_{i} = 1 \Leftrightarrow a_{i}=1 \mbox{\ a\ } b_{i}=1$$ (3.9)

a na záver pojem $podmnožiny~vektora$ ako

$$\bar a \subset \bar b \Leftrightarrow \bar a \cap \bar b = \bar a.$$ (3.10)

Potom pre učenie platí:

• Váhy $F_{2} \rightarrow F_{1}$ sa menia podľa pravidiel, ktoré boli uvedené už v predošlej časti tejto kapitoly. Teraz ich rozšírime len o matematický popis. Pri inicializácii sa váhy všetkých týchto liniek nastavia na ich maximálnu hodnotu, tzn.:
  

  $$\bar w_{ji}(0)=1 \qquad \forall 1 \leq j \leq M, 1 \leq i \leq N.$$ (3.11)

  
  
  Úprava váh nastáva vždy až potom čo bol určený víťaz $y_{J}$ vo vrstve $F_{2}$ a menia sa iba váhy liniek vedúcich z tohto neurónu. Formulovať to môžeme takto:
  

  $$\frac {dw_{ij}}{dt} = y_{j}(x_{i}-w_{ij}(t-1)),$$ (3.12)

  
  
  z čoho vyplýva, že zmena sa deje prvýkrát iba ak daná linka vychádza z víťazného neurónu a druhýkrát iba ak existuje rozdiel medzi predtým nastavenou váhou linky a terajšiou aktiváciou $i$-tého neurónu $x_{i}$. A keďže nemôže nastať prípad, že $x_{i}=1$ a zároveň $w_{Ji}=0$, váha $w_{Ji}$ sa buď nemení, alebo sa mení z 1 na 0, čím sa zabezpečuje stabilita systému. Zmenu váhového vektora víťazného neurónu potom môžeme zapísať:
  

  $$\bar w_{J}^{nový} = \left\{ \begin{array}{ll} \bar I~... ...& \mbox{ak $y_{J}$\ vyhral prvýkrát} \end{array} \right.$$ (3.13)

  
  

• Váhy $F_{1} \rightarrow F_{2}$ majú dôležitejšiu úlohu, pretože sa musia starať aj o to, aby sa nové triedy vytvárali systematicky, t.j. aby sa nepreskakovali niektoré nepoužité neuróny, a tiež aby sa vždy najprv otestovali už použité neuróny a až potom, čo sa tieto ukážu ako nezodpovedajúce kritériám, použije sa nový neurón. Toto je zabezpečené inicializáciou váh, pre ktoré platí:
  

  $$\bar w_{ij}(0)=\alpha_{j} \qquad \forall 1 \leq j \leq M, 1 \leq i \leq N$$ (3.14)

  
  
  kde
  

  $$0 < \alpha_{M} < \alpha_{M-1} < \dots < \alpha_{1} \leq \frac {1}{\beta+N}$$ (3.15)

  
  
  Samotná úprava váh je totožná s úpravou váh $F_{2} \rightarrow F_{1}$ až na to, že tu sú nové váhy ešte normované na hodnotu menšiu ako 1, čiže
  

  $$\bar W_{J}^{nový} = \frac {\bar I~\cap \bar w_{J}^{starý}} {\beta + \vert \bar I~\cap \bar w_{J}^{starý} \vert }$$ (3.16)

  
  
  kde $\beta$ je bezvýznamne malá hodnota.
• Ako posledný je popísaný test hypotézy, tzn. overenie či víťazná kategória určená rovnicami (3.1), (3.7) je uspokojivá z hľadiska parametra podobnosti $\rho$ (vigilance parameter). Neurón $Reset$ sa aktivuje, ak platí
  

  $$Reset \Leftrightarrow \frac {\vert \bar I~\cap \bar Z_{J}\vert} {\vert \bar I~\vert} \leq \rho$$ (3.17)

  
  
  V prípade, že podmienka neplatí, algoritmus sa dostáva do poslednej fázy-úpravy váh, popísanej rovnicami (3.13) a (3.16). Ak podmienka platí, vyšle sa signál reset, ktorý zmrazí aktuálného víťaza $y_{j}$, následkom čoho sa zase aktivuje neurón Zisk1 a celý cyklus sa opakuje. Z poslednej rovnice vyplýva dôležité pravidlo určujúce, aké hodnoty parametra $\rho$ volíme. Ak dáme $\rho\leq0$, reset nenastane nikdy, čiže všetky vzorky sú klasifikované do tej istej triedy. Na druhej strane pre $\rho=1$ každej odlišnej vzorke bude vytvorená nová kategória. Ak by $\rho$ nadobudlo hodnotu väčšiu ako jedna, reset nastane v každom prípade, čo spôsobí zmrazenie siete, a to je nekorektné správanie.

CIG Homepage(E-mail us!)