4.4 Učiaci algoritmus pre klasifikáciu
4.3.1 Úprava váh expertných modulov
4.3 Učiaci algoritmus pre regresiu

Obsah

4.3.2 Úprava váh bránového modulu

Bránový modul obsahuje $K$ nelineárnych neurónov s výstupnou funkciu typu softmax. Výpočet hodnôt $g_i$ je definovaný vzťahom (4.5), ktorého dosadením do (4.13) je určené vyjadrenie pravdepodobnostnej funkcie pomocou vektora váh bránového modulu $\bf v$

$$\it l_{R}({\bf\theta}) = {\rm ln}\enspace \sum_{i=1}^{K} ... ...-\enspace ln \it\enspace \sum_{j=1}^{K} \rm exp(\it a_j \rm )$$ (4.27)

Hodnoty $a_{\it 1 \dots K}$ sú výstupnými hodnotami neurónov bránového modulu, ktoré sa vypočítajú podľa vzťahu (4.4).
Ďalší postup odvodenia úpravy hodnôt vektora váh $\bf v$ je analogický postupu odvodenia úpravy váh pre expertné moduly. Rozdiel je v počte a type neurónov bránového modulu. Expertné moduly obsahovali $q$ lineárnych neurónov. Bránový modul obsahuje $K$ nelineárnych neurónov. Nové hodnoty vektora váh $\bf v_{\it i}$, ktorý prislúcha $i$-temu neurónu sa určia nasledovne

$$\bf\ v_{\it i} \rm (n+1) = \bf v_{\it i} \rm (n)+\bf\Delta v_{\it i} \rm (n)$$ (4.28)

$$\bf\Delta v_{\it i} = \gamma \frac{\partial\it l_{R}(\bf v_{\it i})}{\partial\bf v_{\it i}}$$ (4.29)

Učiaci parameter $\gamma$ bránovej siete môže byť zhodný s učiacim parametrom pre expertné siete. Parciálnu deriváciu pravdepodobnostnej funkcie je možné znova rozpísať pomocou pravidla zreťazenia.

$$\frac{\partial\it l_{R}}{\partial\bf v_{\it i}} = \frac{\... ...artial\it a_i} \frac{\partial\it a_i}{\partial\bf v_{\it i}}$$ (4.30)

Derivácia pravdepodobnostnej funkcie podľa $a_i$ vyjadrená pre $i$-ty neurón bránovej siete má tvar

$$\frac{\partial\it l_{R}}{\partial\it a_{i}} = \it h_i-g_i$$ (4.31)

Derivácia $a_i$ podľa vektora váh prislúchajúceho $i$-temu neurónu bránovej siete má tvar

$$\frac{\partial\it a_i}{\partial\bf v_{\it i}} = \bf x$$ (4.32)

Dosadením (4.31) a (4.32) do (4.30) a následným dosadením do (4.28) sa získa vzorec pre výpočet hodnoty $\bf\Delta v_{\it i}$

$$\bf\Delta v_{\it i} = \it\gamma \rm (\it h_i-g_i\rm )\bf x$$ (4.33)

Výsledný vzorec pre výpočet novej hodnoty vektora váh prislúchajúceho $i$-temu neurónu bránového modulu má tvar

$$\bf\ v_{\it i}\rm (\it n \rm +1) = \bf v_{\it i}\rm (\it n... ... \rm (\it h_i\rm (\it n\rm )-\it g_i\rm (\it n\rm )\rm )\bf x$$ (4.34)

Zhrnutie učiaceho algoritmu pre regresiu:

1.

Inicializácia.
Hodnoty všetkých váh celej siete sa nastavia na náhodnú hodnotu z malého intervalu, napr. $<-1, 1>$.

2.

Úprava váh.
Úprava váh sa uskutočňuje v $N$ cykloch. V každom cykle sa privedú na vstup a výstup siete všetky vzorky trénovacej množiny. Každá vzorka je reprezentovaná dvojicou $\rm\{\bf x, d \rm\}$. Pre jednotlivé indexy platí:

$n$

$\in\enspace \rm <0, 1, 2, \dots, \it N \rm >$

$i$

$\in\enspace \rm <1, 2, \dots, \it K \rm >$

$j$

$\in\enspace \rm <1, 2, \dots, \it q \rm >$

(a)

$$\it a_i \rm (\it n\rm ) = {\bf x^{\it T} v_{\it i}\rm (\it n\rm )}$$

$$\it g_i \rm (\it n\rm ) = \frac{\rm exp(\it a_i\rm (\it n\rm ))} {\it\sum_{j=1}^K \rm exp(\it a_j\rm (\it n\rm ))}$$

(b)

$$\bf\it y_{ij} \rm (\it n\rm ) = \bf x^{\it T}w_{\it ij}\rm (\it n\rm )$$

(c)

$$\it h_i \rm (\it n\rm ) = \frac{\it g_i \rm (\it n\rm ) \... ...\frac{1}{2}\Vert\bf d-y_{\it j}\rm (\it n\rm )\Vert^{\rm 2})}$$

(d)

$$\bf\ w_{\it ij}\rm (\it n \rm +1) = \bf w_{\it ij}\rm (\it ... ...\rm (\it n\rm )-y_{\it ij}\rm (\it n\rm )\rm ) \enspace\bf x$$

(e)

$$\bf\ v_{\it i}\rm (\it n \rm +1) = \bf v_{\it i}\rm (\it n ... ...t h_i\rm (\it n\rm )-\it g_i\rm (\it n\rm )\rm )\enspace\bf x$$

CIG Homepage(E-mail us!)