4.8.2 Problém inicializácie NN
4.8 Dôležité poznámky k návrhu FF NN
4.8 Dôležité poznámky k návrhu FF NN

Obsah

4.8.1 Návrh topológie NN

V prípade aproximácie funkcie celý proces v konečnom dôsledku musí viesť k aproximácii s nejakou presnosťou. Je to vlastne niečo podobné ako aproximácia funkcie nejakým radom. Ak si predstavíme jednoduchú NN s jedným vstupom a jedným výstupom pri predpoklade, že aktivačné funkcie v skrytej vrtsve sú nelineárne a vo vstupe a výstupe je aktivačnou funkciou funkcia identity. Teda na výstupe zo vstupných neurónov dostaneme

$$ou(t)~=~ \sum_{j=1}^{M} w_{j}(t)x_{j}(t) - \theta$$ (4.70)

a po prechode skrytou vrstvou na jej výstupe dostaneme

$$ou(t)~=~ \sum_{j=1}^{N} w_{j}(t) f(\sum_{l=1}^{N} w_{l}(t)x_{l}(t) - \theta_{in}) - \theta_{h}$$ (4.71)

a tak ďalej. Teda je položená otázka, ako ďaleko je potrebné pokračovať v rozvoji aproximácie funkcie v zmysle (4.71). Odpoveď na túto otázku dala matematická analýza celého problému v práci  [3], ktorá znela NN s jednou, resp. max dvoma skrytými vrstvami je schopná aproximácie ľubovoľnej funkcie s dostatočnou presnosťou. Je zrejme, že viac ako 2-vrstvové NN to vedia tiež, ale za cenu vyššej zložitosti NN. Existuje tzv. Univerzálna aproximačná teoréma popísaná tiež v  [5], ktorá tvrdí, že stačí jedna skrytá vrstva na aproximáciu ľubovoľnej funkcie. Z praktického hľadiska, však nehovorí koľko neurónov má mať táto jediná skrytá vrstva. Ak budeme predpokladať, že pripustíme aj podľa  [3] dve skryté vrstvy, môžeme naše úvahy zotriediť do dvoch bodov:

• každá "rozumná" funkcia môže byť vyjadrená ako lineárna kombinácia lokálných zvlnení
• každé takéto zvlnenie môžeme s dostatočnou presnosťou aproximovať dvoma skrytými vrstvami

Otázka, akú úlohu má v tom prípade 1. resp. 2. vrstva môže byť vyjadrená nasledovne podľa  [5] :

• prvá skrytá vrstva nachádza lokálne príznaky aproximovanej funkcie
• druhá skrytá vrstva spracováva výstup z prvej skrytej vrstvy a jej úlohou je určovať globálne príznaky aproximovanej funkcie

Z praktického hľadiska návrhu topológie NN je vhodné sa pri kontrolovanom učení a FF NN obmedziť na NN, ktoré obsahujú najviac dve skryté vrstvy. Tým sa hľadanie optimálnej topológie zefektívni a priestor možností rôznych topológii FF NN sa zmenší. Otázka ale stále ostáva, ako aj pri tomto obmedzení máme pristupovať k návrhu topológie FF NN, aby sme čo v najkratšom čase dostali uspokojivé výsledky. V literatúre sú známe dva principiálne prístupy a to :

1.

konštrukčný algoritmus ( [6])

2.

eliminačný algoritmus ( tzv. pruning  [5]^4.8

V prvom prípade ide o postupné budovanie NN, nahrádzanie jedného neurónu dvoma až po nahradenie jednej skrytej vrstvy dvoma vrstvami. Je to algoritmus postupného budovania až po nájdenie optimálnej topológie NN. Samozrejme v každej skúmanej topológii musíme nastavovať parametre učenia, takže ide o dosť náročný proces. Eliminačný prístup naproti tomu začína s tzv. maximálnou verziou topológie NN a postupnými elimináciami neurónov alebo SV dochádza k optimálnej topológii NN. K tejto forme hľadania optimálnej topológie NN existujú špeciálne prístupy napr. Optimal Brain Damage, Optimal Brain Surgeon^4.9 a pod.

CIG Homepage(E-mail us!)