6.2 Metóda Counterpropagation

Obsah

6.2 Metóda Counterpropagation

Jednou z ďalších možností hybridného prístupu je kvantovanie vstupu, pričom musí byť splnená podmienka opätovnej rekonštrukcie. Toto vykonáva práve metóda Counterpropagation, ktorá kombinuje vyššie uvedené metódy nasledujúcim spôsobom, kde prvá časť pracuje na princípe konkurenčného učenia a druhá časť používa metódu BP. (viď obr. 6.2).

**Obrázok 6.2:** Topológia NN pre hybridné učenie metódou Counterpropagation ( A - konkurenčné učenie, B - kontrolované učenie)
$\begin{figure} \begin{center} \epsfig {file=img/62.ps} \end{center} \end{figure}$

Samotné učenie môže prebiehať buď sekvenčne alebo paralelne. Konkurenčné učenie prebieha podľa jedného adaptačného pravidla a učiaceho koeficientu $\gamma_{1}$ a druhá časť podľa druhého adaptačného pravidla a druhého koeficientu učenia $\gamma_{2}$ . Celkový postup učenia môžeme zhrnúť do nasledovných bodov:

1.

inicializácia jednej aj druhej časti FF NN

2.

vstup do NN a výpočet hodnoty neurónu v skrytej vrstve podľa vzorca (5.11) a výpočet minimálnej hodnoty stavu jednotlivých neurónov podľa (5.12).

3.

neurón, ktorý bol identifikovaný ako najbližší ku vstupu bude nastavený na 1 a ostatné na 0

4.

potom sa vypočíta rozdiel medzi výstupom z výstupnej vrstvy a očakávanou hodnotou na výstupe

$\begin{displaymath} e_{i}~=~(ev_{i}~-~ou_{i}) \end{displaymath}$

(6.1)

5.

teraz sa budú realizovať dve adaptačné pravidlá a to

(a)

pre konkurenčné učenie sa zmena SV vypočíta ako

$\begin{displaymath} \Delta w_{kj}(t)~=~\gamma_{1} (w_{kj}(t)~-~x_{j}(t)) \end{displaymath}$

(6.2)

ak "k" je víťazný neurón a sa ostatné SV sa nemenia

(b)

pre druhú časť, teda BP adaptačné pravidlo pre zmenu SV druhej časti NN sa vyjadrí podľa vzorca (4.34) pre prípad výstupného neurónu (vzorec (4.38)) s použitím lineárnej aktivačnej funkcie na výstupe NN. Teda

$\begin{displaymath} \Delta w_{ik}(t)~=~-\gamma_{2}(ev_{i}~-~ou_{i}(t))x_{k} \end{displaymath}$

(6.3)

Vzhľadom na to, že v skrytej vrstve majú všetky neuróny nulovú hodnotu až na víťazný, ktorý je nastavený na 1, potom $x_{k}=1$ a ostatné sú

. Súčasne môžeme pre $ou_{i}(t)$ vzhľadom na lineárnu aktivačnú funkciu napísať

$\begin{displaymath} ou_{i}(t)~=~\sum_{j=1}^{N_{z}} w_{ij} x_{j}~=~w_{ik} \end{displaymath}$

(6.4)

Potom môžeme vzorec (6.3) upraviť do tvaru

$\begin{displaymath} \Delta w_{ik}(t)~=~\gamma_{2}(w_{ik}(t)~-~ev_{i}(t)) \end{displaymath}$

(6.5)

6.

návrat do bodu 2 a opakovanie procedúry až kým chyba nebude dostatočne malá a nastane konvergencia FF NN

Význam tohto prístupu je v kvantovaní vstupov zabezpečením maximálne možnej rekonštrukcie. Samotné kvantovanie zabezpečuje prvá časť siete, druhá časť zabezpečuje podmienky maximálnej možnej rekonštrukcie. Výsledky tohoto procesu nájdeme v hodnotách SV prvej časti siete, kde sa nachádzajú hodnoty centier zhlukov po kvantovacom procese vstupu.

CIG Homepage(E-mail us!)