3.4.2 Konvergencia NN
3.4 Globálna stabilita a konvergencia NN
3.4 Globálna stabilita a konvergencia NN

Obsah

3.4.1 Globálna stabilita NN

V rámci globálnej stability (ďalej GS) NN, ako nelinárneho dynamického systému uvažujeme dva prípady:

• GS NN počas procesu učenia^3.3
• GS NN mimo procesu učenia

Všeobecne pod GS NN rozumieme stav, kedy neuróny NN zotrvávajú v nejakom stave^3.4. Ak si predstavíme NN,ktorá má $M$ neurónov, ktoré majú stavy $x_{i}~~i=1,\dots,M$, potom pod globálnou stabilitou rozumieme vo všeobecnosti stav

$$\frac{d{x_{i}}}{d{t}}~\to~~0~~~pre~~i~=1,\dots,M$$ (3.13)

Na vyšetrovanie GS NN by bolo vhodné mať funkciu, ktorá stavy týchto $M$ neurónov vyjadrí integrálne nejakou skalárnou formou. Vo všeobecnosti na popis GS je dobrá funkcia, ktorá tranformuje M-rozmerný priestor stavou do jedného skalárneho čísla. Teda

$$R^{M}~~\to~~R^{1}$$ (3.14)

V teórii NN sa popisuje základná tzv. priama metóda Ljapunova popisujúca GS NN. Majme teda NN s $M$ neurónmi, ktoré majú stavy ${\bf x}(t)=(x_1(t),\dots,x_M(t))$. Nech sú splnené nasledovné požiadavky:

1.

ak

$$X~=~\frac{\d{{\bf x}(t)}}{\d{t}}~=~G({\bf x}(t))$$

a platí, že $X~=~0$, ak všetky $x_{i}~=~0$

2.

$X$ je holomorfná, t.j. existujú prvé defivácie podľa $x_{i}$

3.

$\sum_{i~=~1,\dots,M}~x_{i}(t)~~\leq~~H$ pre $t~\ge~t_{0}$ , teda po nejakom čase ($\ge~t_{0}$), bude suma stavov $x_{i}(t)$ menšia ako konštanta $H$.

4.

ak vieme zostrojiť funkciu $L(~X~)$ pre ktorú platí, že

$$\sum_{i=1,\dots,M}\frac{\partial{L}}{\partial{x_{i}}}~~\leq~~0$$ (3.15)

pre všetky $x_{i}$

potom funckia $L$ sa nazýva Ljapunovova funkcia energie NN, popisuje GS NN a pre stabilné NN $L~\to~0$. Táto funkcia skutočne realizuje tranformáciu stavov neurónov NN pomocou skalárnych hodnôt. Uvedená metóda vyšetrovania stability je pre popis NN základnou a od nej sa odvádzajú ďalšie metódy popisujúce jednotlivé typy NN ( Cohen-Grossbergova resp. Cohen-Grossberg-Koskova teoréma). Pre FF NN má význam hovoriť o GS NN len v procese učenia. V procese mimo učenia^3.5 tam principiálne nemôže dôsť k nestabilite NN. Pri RC NN však má význam hovoriť o stabilite pri učení ako aj mimo neho, vzhľadom na existenciu rekurentných prepojení. Teda, ak je RC NN počas učenia stabilná, teoreticky mimo učenia môže na vstup NN prísť nejaký vstup, ktorý NN urobí nestabilnou^3.6. Záverom tejto časti je treba podčiarknuť dôležitosť neurodynamiky hlavne v prípade vývoja nových učiacich metód. Už navrhnuté metódy učenia NN sa vyznačujú GS. Tabuľka prezentuje význam vyšetrovania GS pri rôznych topológiach NN (kvôli prehľadnosti).

	FF-NN	RC-NN
fáza učenia	áno	áno
fáza života	nie	áno

CIG Homepage(E-mail us!)