4.8.3 Problém stanovenia veľkosti trénovacej vzorky
4.8.1 Návrh topológie NN
4.8 Dôležité poznámky k návrhu FF NN

Obsah

4.8.2 Problém inicializácie NN

V prípade BP sa niekedy stáva, že nastane saturácia NN, t.j. neuróny sa zahltia a NN produkuje konštatný výsledok. K tomu, aby sme zabránili podobným situáciam je možné uvažovať o nasledovných doporučeniach:

• inicializácia NN by mala byť realizovaná generátorom rovnomerného náhodného rozdelenia z dostatočne malého intervalu
• ak počet neurónov v skrytej vrstve je veľmi veľký, saturácia je pravdepodobnejšia ako v prípade malého počtu neurónov
• pri lineárných neurónoch dochádza k saturácii zriedka.

V ideálnom prípade, by sme mali realizovať inicializáciu v závislosti od počtu vstupov do "i"-teho neurónu, lebo je rozdiel, keď inicializujeme SV pre neurón "i", ktorý má napr. 50 vstupov a neurón "j", ktorý má napr. 2 vstupy. Teda ideálna inicializácia by bola, keby SV vstupujúce do každého neurónu boli inicializované z rôznych intervalov podľa počtu vstupov do neurónu. V  [5] je uvedený empirický interval pre inicializačné hodnoty v tvare

$$(\frac{-2.4}{NI_{i}},\frac{2.4}{NI_{i}})$$ (4.72)

kde $NI_{i}$ počet vstupov do neurónu "i". Vo všeobecnosti inicializácia nemá priamy vplyv na konečný výsledok učenia, ale do veľmi veľkej miery vie ovplyvniť efektívnosť a samotný priebeh učenia. Ide o stanovenie počiatku na chybovom povrchu, od ktorého sa hľadá minimum korešpondujúce s konvergenčným stavom NN.

CIG Homepage(E-mail us!)