Je zrejme, že učenie je z hľadiska svojej dĺžky a presnosti zložitý proces, ktorý narastá
so zložitosťou riešeného problému.
Preto ak je možné
rozdeliť celkovú úlohu na rad podúloh, tak je vhodné použiť tzv.
modulárne neurónové siete MNN. Príkladom môže byť napr. problém
aproximácie funkcie vyjadrenej vzťahom (4.1), pre ktorú je možné vytvoriť sieť s dvoma
modulmi, ktoré sú naučené príslušným častiam tejto funkcie.
(4.1)
Všeobecná definícia MNN môže byť nasledovná:
Neurónové siete sa nazývajú modulárne, ak samotné výpočty v NN je možné
dekomponovať do 2 alebo viacerých modulov (subsystémov), ktoré môžu fungovať
bez vzájomnej komunikácie. Výstupy z týchto modulov sú vstupnými signálmi do
integrujúceho branového modulu, ktorý môže mať nasledovné funkcie:
rozhodne, ktorý z modulov sa bude učiť - ktorými trénovacími vzorkami
rozhodne, ako budú kombinované vstupy na konečný výstup
Modularita je teda preto chápana ako proces spracovania v zmysle metódy
rozdeľuj a panuj!
Výhody MNN by sme mohli zhrnúť do týchto bodov:
1.
rýchlosť učenia na svojich dátach
2.
variabilita učenia, teda každý subsystém môže mať
svoje vlastné adaptačné pravidla
3.
schopnosť riešiť komplikované problémy efektívnejšie ako jednoduché NN
Pri MNN poznáme dva základne subsystémy a to:
expertné siete - EN (expert
networks)
bránové siete - GN (gating
networks)
každá z týchto sietí má svoj vlastný adaptačný mechanizmus.
V modulárnej architektúre sa spájajú prvky kontrolovaného a nekontrolovaného
učenia.
Kontrolované učenie je charakterizované tým, že každá učiaca vzorka sa
skladá z dvoch častí: vstupu a k nemu prisluchajúceho výstupu.
Nekontrolované učenie je charakterizované modulmi, ktoré medzi sebou
"súťažia" o možnosť produkovania správneho výstupu. O tom, ktorý modul sa bude
učiť jednotlivé vstupné vzorky teda nerozhoduje externý učiteľ, ale schopnosť
jednotlivých modulov produkovať výstup, ktorý je najbližšie k požadovanému.
Počas učenia sa uplatňuje efekt kladnej spätnej väzby. Modul, ktorý
"odpovedal" najlepšie na daný vstup, prijíma najväčšie množstvo učiacej
informácie v etape úpravy hodnôt váh. Moduly, ktoré produkovali horšie
výsledky, prijímajú menšie množstvo učiacej informácie. Každý modul
prijíma také množstvo učiacej informácie, ktoré je úmerné jeho schopnosti
učenia. Bránový modul (gating module) plní úlohu klasifikátora nad
celým definičným oborom funkcie. Expertné moduly pracujú ako
aproximátory čiastkových funkcií v jednotlivých častiach definičného oboru.
Vzájomnou konkurenciou sa po skončení učenia dosiahne špecializácia
jednotlivých expertných modulov na jednotlivé časti definičného oboru aproximovanej
funkcie.
