3.1 Paradigmy kontrolovaného učenia

Obsah

3.1 Paradigmy kontrolovaného učenia

Filozofia kotrolovaného učenia (teda spôsob zmeny SV) je ovplyvnený prítomnosťou učiteľa v celom procese učenia. Prakticky to znamená, že NN musíme ponúknuť v procese učenia

vstup do NN
k vstupu prislúchajúci výstup NN.

Teda prístupy ku zmene SV (učeniu) môžeme v prípade kontrolovaného učenia koncepčne rozdeliť do 3 skupín:

učenie za základe opravy chyby (error correction learning)
stochastické učenie (stochastic learning)
učenie na základe hodnotenia činnosti^3.1 (reinforcement learning)

Poznámky k jednotlivým typom :

1.

Učenie na základe korekcie chyby
Tento prístup predpokladá zmenu SV ako funciu premenej $e_{i}$ , kde $e_{i}$ predstavuje rozdiel medzi očakávaným stavom neurónu "i" ( $ev_{i}$ ) a vypočítaným stavom neurónu "i" ( $x_{i}$ ) v procese učenia. Teda

$\begin{displaymath} e_{i}~=~ev_{i}~-~x_{i} \end{displaymath}$

(3.1)

Potom môžeme napísať všeobecný vzorec pre výpočet zmeny SV pre spojenie medzi výstupným neurónom "i" a do neho vstupujúcim neurónom "j" v tvare

$\begin{displaymath} \Delta w_{ij}~=~\gamma~x_{j}~e_{i} \end{displaymath}$

(3.2)

kde $\gamma$ je parameter učenia, zvyčajne v intervale hodnôt

, $x_{j}$ je stav neurónu "j". V prípade viacvrstvovej siete sa pri výpočte jednotlivých zmien váh použije rekurentný vzorec pre zmenu váh, ktorý sa odvíja od výstupu NN a smeruje späť do NN (viď BP-algoritmus).

2.

Stochastické učenie
Pri stochastickom type učenia ide o zmeny SV založené na stochastických prístupoch. Globálna stratégia je založená na nasledovných krokoch:

navrhne sa stochastická zmena SV a vypočíta sa energia NN.
ak zmena priniesla zníženie energie NN, návrh zmeny sa príjme
ak zmena nepriniesla spomínaný efekt návrh sa zamietne

Príkladom takýchto NN je Boltzmanov stroj a jeho modifikácie .

3.

Učenie na základe hodnotenia činnosti
Tento charakter učenia je podobný ako v prípade učenia podľa korekcie chyby,ale základným rozdielom je, že sa zhodnocuje stav výstupu celej výstupnej vrstvy pomocou nejakej skalárnej veličiny. Potom môžeme napísať všeobecný tvar rovnice učenia:

$\begin{displaymath} \Delta w_{ij}~=~\gamma~(r~-\theta_{i})~e_{ij} \end{displaymath}$

(3.3)

kde

je skalárna hodnota úspešnosti celej NN odvodená z výstupnej vrstvy NN, $\theta_{i}$ je prahový koeficient úpravy pre neurón "i" a $e_{ij}$ je koeficient rozhodnutia a predstavuje zmenu pravdepodobnosti minimálnej chyby podľa synaptickej váhy, ktorý sa vo všeobecnosti vypočíta

$\begin{displaymath} e_{ij}~=~ \frac{\partial{ln~g_{i}}}{\partial w_{ij}} \end{displaymath}$

(3.4)

kde teda $g_{i}$ je pravdepodobnosť, že očakávaný výstup sa bude rovnať vypočítavanému výstupu $ev_{ij}$ (teda minimálnej chybe), teda

$\begin{displaymath} g_{i}~=~P~(x_{i}~=~ev_{i} \vert W_{i}~,~\Lambda) \end{displaymath}$

(3.5)

kde $ev_{i}$ je očakávaná hodnota výstupného neurónu "i", $x_{i}$ je výpočítaná hodnota neurónu, $W_{i}$ je vektor SV, ktoré vstupujú do neurónu "i" a $\Lambda$ je vektor hodnôt aktivačných stavov neurónov, ktorých SV vstupujú do neurónu "i".

Záverom ku kontrolovanému učeniu je nutné počiarknuť, že existujú metódy učenia, ktoré predstavujú hybridný prístup zostavený z horeuvedených prístupov.

CIG Homepage(E-mail us!)