4.4 Metóda spätného šírenia chyby
4.2 Repetitórium č. 1
4. Kontrolované učenie na FF NN

Obsah

4.3 Delta pravidlo

Delta pravidlo (ďalej DP) predstavuje veľmi dôležitý postup pri výpočte zmeny SV ( $\Delta w_{ij}(t)$) a je typu LMS. DP rozšíruje LMS na prípad ne-McCullochových neurónov^4.3. Teda pre jednoduchú jednovrstvovú sieť s M vstupnými neurónmi a jedným výstupným neurónom "i" dostaneme

$$x_{i}~=~f(in_{i})~=~in_{i}~=~\sum_{j=1}^{M}x_{j}w_{ij}(t)~+~\theta_{i}$$ (4.19)

z rovnice je zrejmé, že ide o lineárnu aktivačnú funkciu v neuróne "i". Potom chybovú funkciu, ktorá má charakter LMS cez všetkých $N_{0}$ výstupov do NN vyjadríme v prípade, ak výstupná funkcia je identická teda $x_{i}~=~ou_{i}$

$$J(t)~=~\sum_{i=1}^{N_{0}}J^{i}(t)~=~0.5\sum_{i=1}^{N_{0}}(ev_{i}(t)~- ~x_{i}(t))^{2}$$ (4.20)

kde $ev(t)$ je očakávaná a $x_{i}(t)$ vypočítaná hodnota na $i-tom$ vystupe z NN. Metóda LMS hľadá hodnoty zmeny SV pri minimalizácii tejto chybovej funkcie. Myšlienka zmeny SV v závislosti od negatívnej parciálnej derivácie chybovej funkcie podľa váhy teda má tvar

$$\Delta w_{ij}(t)~=~-\gamma \frac{\partial J(t)}{\partial w_{ij}(t)}$$ (4.21)

kde $\gamma$ je učiaci pomer^4.4. Pravú stranu v (4.21) je možné upraviť

$$\frac{\partial J(t)}{\partial w_{ij}(t)}~= ~\frac{\partia... ...rtial x_{i}(t)} \frac{\partial x_{i}(t)}{\partial w_{ij}(t)}$$ (4.22)

. Prvý člen pravej strany sa ďalej rovná

$$\frac{\partial J(t)}{\partial x_{i}(t)}~=~-(ev_{i}(t)~-~x_{i}(t))$$ (4.23)

a druhý člen na základe (4.19) sa rovná

$$\frac{\partial x_{i}(t)}{\partial w_{ij}(t)}~=~x_{j}(t)$$ (4.24)

Ak označíme $\delta(t)~=~-(ev_{i}(t)~-~x_{i}(t))$, tak výsledný vzorec pre výpočet zmeny váhy pri ľubovoľnom vstupe má tvar

$$\Delta w_{i}(t)~=~\gamma \delta(t) x_{j}(t)$$ (4.25)

Takto vypočítaná zmena SV podľa delta pravidla - ďalej DP dala základ ďalším modifikáciam delta pravidla, čo prispelo k jeho rozšíreniu a aplikácii pri učení NN. Signál $\delta(t)$ nazývame chybovým signálom.

CIG Homepage(E-mail us!)