4.4 Metóda spätného šírenia chyby

Obsah

4.4 Metóda spätného šírenia chyby

V predošlej časti matematicky odvodené DP vlastne predstavuje základ učenia so spätným šírením chyby^4.5 a umožňuje použitie v podstate ľubovoľnej aktivačnej funkcie

aj nelineárneho typu, ktorá splňuje podmienku diferencovateľnosti, t.j. platí

$\begin{displaymath} x~=~f({in})~\neq~in \end{displaymath}$

(4.26)

Ide teda znova o určovanie zmeny SV pre NN s nelineárnymi neurónmi. Postup bude analogický ako pri základnom DP, avšak o funkcii

predpokládame, že nie je lineárna a je diferencovateľná. Teda opäť stav neurónu "i" pri ľubovoľnom vstupe do NN má tvar

$\begin{displaymath} x_{i}(t)~=~f(in_{i}(t)) , \end{displaymath}$

(4.27)

kde

$\begin{displaymath} in_{i}(t)~=~\sum_{j=1}^{M} w_{ij}(t) x_{j}(t)~+~\theta_{i} . \end{displaymath}$

(4.28)

Z predchádzajúceho DP vieme, že

$\begin{displaymath} \Delta w_{ij}(t)~=~-\gamma \frac{\partial J(t)}{\partial w_{ij}(t)}. \end{displaymath}$

(4.29)

má tvar

$\begin{displaymath} J(t)~=~0.5~\sum_{j=1}^{N_{0}} (ev_{i}(t)-x_{i}(t))^{2}, \end{displaymath}$

(4.30)

kde $N_{0}$ je počet neurónov vo výstupnej vrstve NN. Samotný výpočet parciálnej derivácie chybovej funkcie podľa príslušnej SV má tvar

$\begin{displaymath} \frac{\partial J(t)}{\partial w_{ij}(t)}~=~\frac{\partial J... ...tial in_{i}(t)} \frac{\partial in_{i}(t)}{\partial w_{ij}(t)} \end{displaymath}$

(4.31)

Označme

$\begin{displaymath} \frac{\partial J(t)}{\partial in_{i}(t)}~=~-\delta_{i}(t) \end{displaymath}$

(4.32)

$\begin{displaymath} \frac{\partial in_{i}(t)}{\partial w_{ij}(t)}~=~x_{j}(t), \end{displaymath}$

(4.33)

potom dostaneme obvykly zápis výpočtu zmeny SV v tvare

$\begin{displaymath} \Delta w_{ij}(t)~=~\gamma \delta_{i}(t) x_{j}(t) \end{displaymath}$

(4.34)

Základným problémom je teraz stanovenie príslušného $\delta_{i}$ pre každý neurón NN. Vedie to k jednoduchému rekurzívnemu vzťahu pre výpočet jednotlivých $\delta_{i}$ , ktoré predstavujú spätné šírenie chyby smerom od výstupu NN. Pre príslušné $\delta_{i}(t)$ môžeme ďalej písať na základe (4.32)

$\begin{displaymath} \delta_{i}(t)~=~-\frac{\partial J(t)}{\partial in_{i}(t)}~... ...rtial x_{i}(t)} \frac{\partial x_{i}(t)}{\partial in_{i}(t)} \end{displaymath}$

(4.35)

Najprv vyriešme druhý člen pravej strany (4.35). Vzhľadom na nelineárny neurón je zrejmé, že môžeme napísať pomocou (4.27),že

$\begin{displaymath} \frac{\partial x_{i}(t)}{\partial in_{i}(t)}~=~f^{'}(in_{i}(t)) \end{displaymath}$

(4.36)

**Obrázok 4.3:** Zobrazenie toku chybového signálu z výstupu pre "i"-ty neurón
$\begin{figure} \begin{center} \epsfig {file=img/43.ps} \end{center} \end{figure}$

Pre výpočet prvého člena z rovnice musíme uvažovať dva rôzne prípady :

ak neurón "i" je výstupným neurónom - vtedy je to pomerne jednoduché, lebo hľadaná parciálna derivácia má tvar

$\begin{displaymath} \frac{\partial J(t)}{\partial x_{i}(t)}~=~-(ev_{i}(t)-x_{i}(t)) \end{displaymath}$ (4.37)

a tým máme výpočet $\delta_{i}(t)$ pre tento prípad vyriešený pomocou (4.36) a (4.37) v tvare

$\begin{displaymath} \delta_{i}(t)~=~(ev_{i}(t)-x_{i}(t)) f^{'}(in_{i}(t)) \end{displaymath}$ (4.38)
ak neurón "i" nie je výstupným neurónom - výpočet je trocha zložitejší a postupuje sa takto

$\begin{displaymath} \frac{\partial J(t)}{\partial x_{i}(t)}~=~\sum_{h=1}^{N_{0... ...tial in_{h}(t)} \frac{\partial in_{h}(t)}{\partial x_{i}(t)} \end{displaymath}$ (4.39)

kde $N_{0}$ je počet neurónov vo výstupnej vrstve, resp. napravo od "i", čo je znázornené na Obr. 4.3. Z matematického hľadiska pri výpočte derivácie chybovej funkcie J, ktorá popisuje celkovú chybu na výstupnej vrstve, podľa $x_{i}(t)$ ^4.6, je nutné vyjadriť J ako funkciu $x_{i}(t)$ . Preto rovnica (4.39) má takýto tvar. Súčasne prvý člen pravej strany je jasný z rovnice (4.32) a teda platí, že

$\begin{displaymath} \frac{\partial J(t)}{\partial x_{h}(t)}~= \frac{\partial x_{h}(t)}{\partial in_{h}(t)}~= ~-\delta_{h}(t) \end{displaymath}$ (4.40)

Tu je potrebné poznamenať, že $x_{h}(t)$ v rovnici (4.40) je z inej vrstvy ako $x_{i}(t)$ v rovnici (4.39). Čo sa týka druhého člena rovnice (4.39), tam samotný člen $in_{h}(t)$ predstavuje vstup do výstupného neurónu "h" a môžeme ho nahradiť nasledovne

$\begin{displaymath} in_{h}(t)~=~\sum_{l=1}^{N_{z}} w_{hl}(t) x_{l}(t) \end{displaymath}$ (4.41)

avšak parciálna derivácia $in_{h}(t)$ podľa $x_{i}(t)$ znamená, že jedno z a tým

$\begin{displaymath} \frac{\partial \sum_{l=1}^{N_{z}} w_{hl}(t) x_{l}(t)} {\partial x_{i}(t)}~=~w_{hi}(t) \end{displaymath}$ (4.42)

teda v konečnom dôsledku

$\begin{displaymath} \frac{\partial J(t)}{\partial x_{i}(t)}~=~-\sum_{h=1}^{N_{0}} \delta_{h}(t)w_{hi}(t) \end{displaymath}$ (4.43)

a konečne hľadaný koeficient $\delta_{i}(t)$ bude mať tvar na základe (4.36) a (4.43)

$\begin{displaymath} \delta_{i}(t)~=~f^{'}(in_{i}(t))\sum_{h=1}^{N_{0}} \delta_{h}(t)w_{hi}(t) \end{displaymath}$ (4.44)

Je potrebné dobre si všimnúť rekurzívnosť tohoto vzťahu. Ide o výpočet koeficientu $\delta_{i}(t)$ neurónu "i", ktorý nie je výstupným neurónom. Vypočítame ho za pomoci $\delta_{h}(t)$ , ktoré prichádzajú z vrstvy napravo od neurónu "i" a ich počet je $N_{0}$ (všimnite si obr. 4.3). Existuje modifikácia vzťahu (4.44) a to v tvare

$\begin{displaymath} \delta_{i}(t)~=~(f^{'}~+~c)(in_{i}(t))\sum_{h=1}^{N_{0}} \delta_{h}(t)w_{hi}(t) \end{displaymath}$ (4.45)

kde parameter je tzv.parameter rovinnosti, ktorý rieši prípad, ak chyba sa nachádza na rovinnej časti chybovej plochy.

CIG Homepage(E-mail us!)