2.2.2 Synaptické spojenia a váhy
2.2 Základné prvky NN
2.2 Základné prvky NN

Obsah

2.2.1 Poznámky k jednotlivým èastiam neurónu

• vstup do neurónu - je funkciou jednotlivých vstupov prichádzajúcich od predsynaptických neurónov. Vo väè¹ine prípadov je to súèet týchto vstupov uva¾ovaných s urèitými váhami, napríklad vstup do $i-$teho neurónu, ktorý má N predsynaptických neurónov, môže byť vyjadrený v tvare
  

  $$in_{i}~=~\sum_{j=1}^{N}~w_{i,j}~ou_{j} + \theta_{i}$$ (2.3)

  
  
  kde $w_{i,j}$ sú synaptické váhy, $ou_{j}$ sú výstupy z neurónov, s ktorými je prepojený, $\theta_{i}$ je prah neurónu i. Rovnica ( 2.3) mô¾e byť prepísaná v tvare
  

  $$in_{i}~=~\sum_{j=0}^{N}~w_{i,j}~ou_{j}$$ (2.4)

  
  
   kde  $w_{i,0}~=~\theta_{i}~a~ ou_{0}~=~ 1~~alebo~~-1$. Prah je vlastne vstup do neurónu z vonkaj¹ieho sveta, teda nie z iných neurónov. To znamená, ¾e v prípade, ak nie sú ¾iadne vstupy do vy¹etrovaného neurónu $i$ z ostatných neurónov $j=1,\dots,N$, potom vstupom do neurónu je iba prah $\theta_{i}$. Neuróny, ktoré majú takýto vstup nazývame tie¾ sigma neuróny.
• aktivaèná funkcia neurónu U¾ v tomto momente sa musíme zaèať pozerať na NN ako na dynamický systém, teda systém závislý na èase. Mô¾eme hovoriť o stave neurónu v èase $t$ resp. v èase $t+1$. Aktivaèná funkcia neurónu je funkciou vstupu do neurónu $in_{i}~(t)$. Teda stav neurónu $i$ je definovaný premennou $x_{i}$ v tvare
  

  $$x_{i}~=~f(in_{i})$$ (2.5)

  
  
  Funkciu $f~()$  budeme nazývať aktivaènou funkciou neurónu. Sú známe aktivaèné funkcie rôznych tvarov. Uvedieme prehľad tých najdôle¾itej¹ích. Pôjde o aktivaèné funkcie závislé iba na vstupe.

  1.

  Lineárna funkcia
  

  $$x_{i}~=~f(in_{i})~=~in_{i}$$ (2.6)

  
  

  2.

  Funkcia signum
  

  $$x_{i}~=~f(in_{i})~=~ \left\{ \matrix{ 1 & ak~in_{i}~\geq~0\cr 0 & ak~in_{i}~<~0\cr } \right.$$ (2.7)

  
  

  Neuróny s takouto aktivaènou funkciu sa nazývajú tie¾
  McCulloch-Pittsove neuróny. Tvar tejto funkcie je zobrazený na obr. 2.3

  Obrázok 2.3: Príklady aktivačnej funkcie neurónu

  

  3.

  Po èastiach lineárna funkcia Táto funkcia má tvar
  

  $$x_{i}~=~f(in_{i})~=~ \left\{ \matrix{ 1&ak~in_{i}~\geq~\f... ...\frac{1}{2})\cr 0 &ak~in_{i}~\leq~\frac{-1}{2}\cr } \right.$$ (2.8)

  
  

  4.

  Sigmoidálna funkcia, ktorá má tvar
  

  $$x_{i}~=~f(in_{i})~=~\frac{1}{1~+~e^{- \alpha in_{i}}}$$ (2.9)

  
  

  kde $\alpha$ je parameter strmosti sigmoidy. Táto funkcia je dosť be¾ná a pri ¹túdiu sa s òou èasto stretneme. Existuje e¹te mno¾stvo ďal¹ích aktivaèných funkcií.

  Obrázok 2.4: Aktivačné funkcie neurónu

  

• výstupná funkcia neurónu je taktie¾ dôle¾itou súèasťou neurónu ako procesnej jednotky. Vo v¹eobecnosti teda má tvar
  

  $$ou_{i}= f(x_{i})$$ (2.10)

  
  
  Veľmi èasto je funkcia $f$ identickou funkciou, tj. $ou_{i}=x_{i}$, pre všetky $i$. Z toho vyplýva, ¾e
  

  $$ou_{i}=O(x_{i})= x_{i}= f(in_{i})$$ (2.11)

  
  

Napriek tomu je nutné rozlí¹ovať funkciu $f(in_{i})$ od funkcie $O(x_{i})$, a pri ¹túdiu NN poèítať aj s mo¾nosťou neindentickej výstupnej funkcie.

CIG Homepage(E-mail us!)