4.3.1 Úprava váh expertných modulov
4.2 Pravdepodobnostná funkcia
4. Modulárne neurónové siete

Obsah

4.3 Učiaci algoritmus pre regresiu

Odvodenie učiaceho algoritmu je založené na metóde najstrmšieho vzostupu hodnoty logaritmickej pravdepodobnostnej funkcie $l_{\it R}({\bf\theta})$. Cieľom učenia je maximalizácia hodnoty tejto funkcie.
Postup je analogický metóde najstrmšieho zostupu hodnoty chybovej funkcie $J(\bf\Theta)$ doprednej siete. Jej veľkosť závisí od matice $\bf\Theta$, ktorá predstavuje množinu voľných parametrov doprednej siete. V procese učenia sa upravujú hodnoty prvkov matice $\bf\Theta$ tak, aby sa hodnota chybovej funkcie $J(\bf\Theta)$ zmenšovala. Nové hodnoty prvkov matice $\bf\Theta$ sa v $n$-tom kroku učiaceho procesu vypočítajú podľa vzťahu

$$\bf\Theta\rm (n+1) = \bf\Theta\rm (n)+\bf\Delta\Theta\rm (n)$$ (4.15)

Hodnota $\bf\Delta\Theta$ sa v $n$-tom kroku vypočíta podľa vzťahu

$$\bf\Delta\Theta = - \gamma \frac{\partial\it J(\bf\Theta\rm )}{\partial\bf\Theta}$$ (4.16)

V modulárnej architektúre opísanej v predošlej časti predstavujú množinu voľných parametrov vektory váh $\bf w_{\it i}$ expertných modulov a $\bf v$ bránového modulu. Od ich hodnôt závisí veľkosť logaritmickej pravdepodobnostnej funkcie $l_{\it R}({\bf\theta})$.

CIG Homepage(E-mail us!)