2.1.1 Problém obchodného cestujúceho (TSP)
2. Kontrolované učenie na RC NN
2. Kontrolované učenie na RC NN

Obsah

2.1 Hopfieldove siete

Hopfieldove siete (ďalej HS)predstavujú najednoduchšiu verziu architektúry RC NN. Je potrebné pripomenúť, že táto sieť sa skladá z duálnych neurónov (viď obrázok  2.1). Ďalej je potrebné si uvedomiť, že v prípade HS ide o asynchrónnu činnosť celej HS, teda jednotlivé neuróny menia svoje stavy asynchrónne. Tiež je nutné poznamenať, že zmeny SV sa realizujú podľa Hebbovbo pravidla. Využitie takejto siete môže byť napr. pri simulácii asociatívnej pamäte. Teda HS budeme učiť nejaké vzorky si uchovať a potom po naučení takejto siete ak dáme na vstup nejakú vzorku, očakávame, aby na výstupe bola tá istá, tj. HS ju mala v pamäti. Celý proces teda môžeme rozdeliť do dvoch fáz a to

• učenie ( zmena SV)
• testovanie

Vstup do jednotlivých neurónov je vstup z externého sveta a vstup z ostatných neurónov.

Obrázok 2.1: Jednoduchá Hopfieldova sieť so 6 neurónmi

$$in_{i}(t)~=~\sum_{j=1 \& j \neq i}^{N}w_{ij}x_{j}(t)~+~I_{i}(t)$$ (2.1)

kde

$$I_{i}(t)~=~in_{ext}(t)+\theta_{i}$$ (2.2)

adaptačné pravidlo je Hebbovho typu teda sa priamo prenáša aj na stavy jednotlivých neurónov, o ktorých môžeme napísať, že

$$x_{i}(t+1)~=~\left\{ \matrix{ +1 & ak~~in_{i}(t) > T \cr -1 & ak~~in_{i}(t) < T \cr x_{i}(t) & inak } \right.$$ (2.3)

teda v konečnom dôsledku sa prejaví samotné rozšírené Hebbovo pravidlo, ktoré hovorí, že SV sa zosilní, ak pred- a postsynaptický neurón sú rovnakého znamienka a sa zoslabí, ak sú rôzneho znamienka. Teda^2.1

$$\Delta w_{ij}(t)~=~\gamma x_{i}(t)x_{j}(t)$$ (2.4)

Po naučení $p-prvkov$ má SV tvar

$$w_{ij}~=~\left\{ \matrix{ \sum_{p=0}^{N-1} x_{i}^{p}x_{j}^{p} & ak~~i~\neq~j\cr 0& inak } \right.$$ (2.5)

Po určitej dobe dôjde k GS HS. Ak budeme predpokladať symetrické SV teda $w_{ij}~=~w_{ji}$ a ak si zvolíme Ljapunovovu funkciu pre energie HS v tvare

$$E~=~-\frac{1}{2} \sum_{i} \sum_{j} x_{i} x_{j} w_{ij} - \sum_{i} \theta_{i}x_{i}$$ (2.6)

ak chceme aby HS našla svoju GS tak $\Delta E$ musí byť záporná a prejavovať klesajúci charakter, čo sa dá aj dokázať viď  [5]. Problémom HS je malé množstvo uchovateľných vzoriek. Jedná sa zhruba o $0.15N$ vzoriek zo všetkých možných vzoriek.

CIG Homepage(E-mail us!)