2.2.1 Odvodenie adaptaèného pravidla
2.1.1 Problém obchodného cestujúceho (TSP)
2. Kontrolované učenie na RC NN

Obsah

2.2 Metóda spätného šírenia chyby (BP) na RC NN

Zovšeobecnenie metódy BP na RC NN bolo prvýkrát prezentované v  [16]. Logika celého procesu BP je veľmi podobná ako pre FF NN. Pri RC NN nás však do veľkej miery zaujíma dynamika činnosti RC NN z dôvodu existencie rekurentných synapsii. Teda už pri šírení signálu sa musia vytvárať podmienky GS a až potom sa môže šíriť späť samotná chyba. Pod dynamikou NN systému budeme rozumieť nejakú funkciu $D(x(t))$, kde $x(t)$ je stav neurónu v čase $t$, teda

$$D(x(t))~=~\frac{\partial x(t)}{\partial t}$$ (2.26)

Teda v prípade metódy BP na RC NN musíme hľadať také adaptačné pravidlo zmeny SV, ktoré :

• bude minimalizovať chybu v zmysle BP prístupu
• bude mať podmienky na dosiahnutie stavu stability v bode $x^{*}(t)$ kedy je $D(x^{*}(t))~=~0$.

Teda hlavným rozdielom medzi BP na RC NN a FF NN je problém neurodynamiky. RC NN musí vykazovať stabilné vlastnosti pri šírení signálu dopredu ako aj pri spätnom šírení chyby. Inak môžu vzniknúť nekontrolovateľné procesy a celý systém bude nefunkčný. Je zrejmé, že exaktný popis modelu neurónu a jeho dynamiky bude mať význam pri štúdiu dynamiky celého systému. V literatúre tykajúcej sa NN sa používa tzv. Ressistance-Capacity model neurónu ako východisko pre popis RC NN viď obrázok  2.3.

Obrázok 2.3: Ressistance-Capacity model neurónu

Ak tento model budeme považovať za jednoduchý elektrický obvod, potom v bode V bude platiť Kirchhoffov zákon o súčte prúdov. Tento model má aj svoju analógiu v biologických systémoch, kde

• $w_{ij}$ vodivosť medzi neurónmi "i" a "j"
• $x_{i}(t)$ priemerný potenciál neurónov na základe vstupu a výstupu z neurónov
• $R_{i}$ odpor neurónovej membrány neurónu "i"
• $C_{i}$ kapacita neurónovej membrány neurónu "i"
• $f(in_{i}(t))$ je prahová funkcia neurónu "i"

Teda potom podľa Kirchoffovho zákona dostaneme :

$$C_{i} \frac{\partial x_{i}(t)}{\partial t}~+~ \frac{x_{i}}{R_{i}}~=~ \sum_{j} w_{ij} x_{j}~+~I_{i}$$ (2.27)

kde $x_{i}(t)~=~f(in_{i}(t))$. Táto rovnica vlastne determinuje podmienky rovnováhy v neuróne, t.j. $D(x_{i}(t))~=~0$ na uvedenom modeli neurónu. Rovnicu (2.27) je možné upraviť do tvaru (využijeme fyzikálne zákony)

$$\tau \frac{\partial x_{i}}{\partial t}~=~ -x_{i}(t)~+~\sum_{j} w_{ij} x_{j}(t)~+~I_{i}$$ (2.28)

kde $\tau$ je funkcia $R,C$. Ešte raz je potrebné zdôrazniť, že (2.28) predstavuje podmienky takej zmeny stavu neurónu $x_{i}$, aby došlo k GS. Riešením tejto diferenciálnej rovnice je bod stability $x^{*}(t)$ v stavovom priestore.

Obrázok 2.4: Topológia RC NN

Ak sa teraz vrátime k reálnej topológii RC NN na obr.  2.4, tak celkovo môžeme vyjadriť vstup do ľubovoľného neurónu ako

$$in_{i}(t)~=~\sum_{j} w_{ij} ou_{j}(t)~+~I_{i}$$ (2.29)

kde $I_{i}$ je vstup do neurónu z externého sveta ($\theta_{i}$, samotný vstup). Ďalej môžeme definovať chybový rozdiel ( pri predpoklade identickej výstupnej funkcie $x_{i}(t)~=~ou_{i}(t)$ ) ako

$$e_{i}(t)~=~\left\{ \matrix{ (ev_{i}(t)~-~x_{i}^{*}(t)) & pre~výstupný~neurón \cr 0 & inak } \right.$$ (2.30)

kde $x_{i}^{*}(t)$ je spomínaný stav výstupného neurónu "i" pri dosiahnutí rovnovážneho stavu a $ev_{i}(t)$ je očakávaná hodnota neurónu v zmysle kontrolovaného učenia. Teda, ako u klasickej metódy BP deklarujeme chybovú funkciu v tvare

$$J(t)~=~\frac{1}{2} \sum_{k} e_{k}(t)^{2}$$ (2.31)

kde k sa mení od 1 po počet neurónov vo výstupnej vrstve. V konečnom dôsledku dostaneme všeobecný výraz pre adaptačné pravidlo pre spojenie medzi ľubovolnými "s" a "r" neurónmi:

$$\Delta w_{rs}~=~-\gamma \frac{\partial J}{\partial w_{rs}}$$ (2.32)

CIG Homepage(E-mail us!)