4.2 Pravdepodobnostná funkcia
4. Modulárne neurónové siete
4. Modulárne neurónové siete

Obsah

4.1 Štruktúra modulárnej siete

Bloková štruktúra základného modelu modulárnej neurónovej siete je zobrazená na Obr. 4.1. Sieť pozostáva z $K$ expertných modulov a jedného bránového modulu. Všetky moduly sú zložené z jednej skrytej vrstvy. Medzi vstupnou vrstvou a vrstvami jednotlivých modulov sú prepojenia typu ,,full connection''.

Obrázok 4.1: Základná bloková schéma modulárnej neurónovej siete pozostávajúcej z $K$ expertných modulov a jedného bránového modulu.

Nech sú vstupné vzorky reprezentované vstupným vektorom $\bf x$ s rozmerom $p$ a výstupným vektorom $\bf d$ s rozmerom $q$. Expertné moduly obsahujú $q$ neurónov, bránová sieť obsahuje $K$ neurónov. Každému expertnému modulu prislúcha jeden neurón bránového modulu. Vstupný vektor $\bf x$ je zo vstupu privedený do všetkých modulov naraz. Každý expertný modul produkuje výstupný vektor $\bf y_{\it i}$, ktorý má $q$ prvkov. Bránový modul produkuje vektor $\bf g$ s $K$ prvkami. Nech $g_i$ je výstupná hodnota $i$-teho neurónu bránového modulu. Celkový výstupný vektor $\bf y$ sa vypočíta ako súčet výstupov jednotlivých expertných modulov $\bf y_{\it i}$ násobených príslušnými hodnotami $g_i$.

$${\bf y} = {\it\sum_{i=1}^K g_i} {\bf y_{\it i}}$$ (4.2)

Druh úlohy, pre ktorý je určené použitie siete určuje typ aktivačnej funkcie neurónov v expertných sieťach. Pre potreby regresie sú určené lineárne aktivačné funkcie, pre potreby klasifikácie sú určené nelineárne neuróny so sigmoidálnou aktivačnou funkciou. Zatiaľ bude výklad venovaný opisu štruktúry siete určenej pre regresné úlohy. Výstupy jednotlivých expertných modulov sú zhodné s aktivačnými hodnotami neurónov v týchto moduloch a ich hodnoty výsledkom násobenia vstupného vektora $\bf x$ vektormi váh $\bf w_{\it i}$ prislúchajúcich k jednotlivým modulom

$${\bf y_{\it i}} = {\bf x^{\it T}w_{\it i}}$$ (4.3)

Aktivačná funkcia neurónov bránového modulu je tiež lineárna. Vektor $\bf v$ je vektor váh bránovej siete. Vektor aktivačných hodnôt $\bf a$ sa vypočíta podľa vzťahu

$${\bf a} = {\bf x^{\it T} v}$$ (4.4)

Keďže pri tvorbe základného modelu bol zvolený štatistický prístup ^4.1, výstupné hodnoty $g_i$ neurónov bránovej siete sú potom upravené tak, aby nadobúdali hodnoty z intervalu $<0,1>$ a ich súčet bol rovný jednej. Táto požiadavka je zabezpečená výstupnou funkciou typu softmax tvaru

$${\it g_i = \frac{exp(a_i)}{\sum_{j=1}^K exp(a_j)}}$$ (4.5)

Použitie funkcie softmax v tomto prípade dovoľuje interpretovať hodnoty $g_i$ ako pravdepodobnosti. Hodnota $g_i$ tak určuje apriórnu pravdepodobnosť, že $i$-ty modul generoval aktuálnu učiacu vzorku.

CIG Homepage(E-mail us!)