4.6.2 Adaptívne parametre učenia NN
4.6 Spôsoby urýchlenia konvergencie BP
4.6 Spôsoby urýchlenia konvergencie BP

Obsah

4.6.1 BP-momentum

Použitie BP s momentom vychádza z poznatkov o chovaní sa siete. Ak vo vzťahu (4.25) pre SV, ktoré prepájajú neuróny "j" a "i" (smeruje do "i"), tj.

$$\Delta w_{ij}(t)~=~\gamma \delta_{i}(t) x_{j}(t)$$ (4.46)

zvolená hodnota $\gamma$ ja veľmi veľká, dochádza k oscilácii NN. Zase veľmi malá hodnota $\gamma$ vedie k neúmerne pomalému učeniu. Tlmeniu spomínaných oscilácii môžeme napomôcť, ak pre výpočet zmeny SV v čase $(t)$ nejako započítame aj zmenu SV v čase $(t-1)$ napr. v tvare

$$\Delta w_{ij}(t)~=~\gamma \delta_{i}(t) x_{i}(t)~+ ~\alpha \Delta w_{ij}(t-1)$$ (4.47)

Novopridanú časť $\alpha \Delta w_{ij}(t-1)$ nazývame momentový výraz (momentum term) a teda dochádza k zmene vzorca (4.46). Kde $\alpha$ je koeficientom, ktorý volíme. Teda touto úpravou je možné do určitej miery zrýchliť proces učenia BP. Existujú však ešte zložitejšie úpravy samotného BP, ktoré sú efektívnejšie a prinášajú kvalitnejšie výsledky.

CIG Homepage(E-mail us!)