Pojem konvergencia NN je spojený iba s fázou učenia NN.
Naviac o konvergencii NN môžeme hovoriť iba pri kontrolovanom učení, teda
vtedy, keď vieme presne aký výstup z NN očakávame. Ide teda o GS NN ale do
nami definovaného stavu. Z toho vyplýva,že konvergenciu môžeme definovať
ako existenciu takého čísla ,
kedy
(3.16)
pre všetky ,
kde
je -tý stav neurónu ,
je
očakávaný stav tohoto neurónu a
je tolerančná odchýlka. Vo väčšine
prípadov nás zaujíma konvergencia výstupných neurónov NN.