Enamuses otsesuunatud ja tagasisidestatud närvivõrkude rakendustes kasutatakse nn. vea pöördlevi meetodid, kus igal sammul võrgu väljund võrreldakse sisendvektorile vastava etalonväljundiga ja selle vea alusel muudetakse parameetrid väljundist sisendini. Kõige levinum nendest meetoditest on "Gradient vea pöördlevi meetod". 1.4.1 Gradient vea pöördlevi meetod (Gradient descent error backpropagation method, ) See meetod põhineb veafunktsiooni (ehk kaofunktsiooni) gradienti arvutamisel. Võrgu õpetamise ülesannet võib vaadelda kui mitmemõõtelist optimeerimisülesannet. Defineerime veafunktsiooni: J (W , ) = (Y p - Y pd ) 2 , (1.14) k kus Yp - närvivõrgu väljundvektor ( Y p = NN ( X p , W , ) ); X p treeninguks kasutatavad sisendvektori väärtused; NN - närvivõrgu funktsioon (operaator) fikseeritud W ja korral;
Enamuses otsesuunatud ja tagasisidestatud närvivõrkude rakendustes kasutatakse nn. vea pöördlevi meetodid, kus igal sammul võrgu väljund võrreldakse sisendvektorile vastava etalonväljundiga ja selle vea alusel muudetakse parameetrid väljundist sisendini. Kõige levinum nendest meetoditest on "Gradient vea pöördlevi meetod". 1.4.1 Gradient vea pöördlevi meetod (Gradient descent error backpropagation method, ) See meetod põhineb veafunktsiooni (ehk kaofunktsiooni) gradienti arvutamisel. Võrgu õpetamise ülesannet võib vaadelda kui mitmemõõtelist optimeerimisülesannet. Defineerime veafunktsiooni: J (W , ) = (Y p - Y pd ) 2 , (1.14) k kus Yp - närvivõrgu väljundvektor ( Y p = NN ( X p , W , ) ); X p treeninguks kasutatavad sisendvektori väärtused; NN - närvivõrgu funktsioon (operaator) fikseeritud W ja korral;
0 ( ) 1 on tõene, kuna ( < )= ä (( < ) + ( )) = = ( < )+ ( < ) ( ) ( < )= ( < ) ( < )= ( ) ( ) => => { ( < ) ( < ) => ( ) Normaaljaotus ja Laplace’i veafunktsioon. Tõenäosuse leidmine selle veafunktsiooni abil Olgu X ~ N(μ,σ). Siis standardiseeritud juhuslik suurus = (0,1). Lineaarteisendus ei riku normaaljaotust. ( )= + ( ) Laplace’i vaefunktsioon: ( )= ∫ √ Tõenäosuse leidmine veafunktsiooni abil: ( )= ( )= ( )– F( )= + ( ) ( + ( )) = ( ) ( ) 23
2 −∞ ( ) =−u e 2 ∨+ ∫ e 2 du= √2 π 2 2 2 2 D(X) = E(X ) – E (X) = σ + μ – μ = σ 2 2 21. Normaaljaotus ja Laplace’i veafunktsioon. Tõenäosuse leidmine selle veafunktsiooni abil Olgu X ~ N(μ,σ). Siis standardiseeritud juhuslik suurus X −μ Y= N (0,1) . Lineaarteisendus ei riku normaaljaotust. σ 1 F ( Y )= + Φ ( y ) 2 2 y −t 1
sisendvektori töötlemist. Võrgu õpetamise protsess koosneb kolmest sammust: võrgu väljundvektori väärtuste arvutamine olemasolevate parameetrite alusel; võrgu vea arvutamine lähtudes õpetamismeetodi poolt määratud kriteeriumist (Näiteks, arvutatud võrgu väljundväärtuse ja etteantud etalonväärtuse vahe); võrgu parameetrite väärtuse ümberarvutamine lähtudes õpetamismeetodi poolt määratud algoritmist. Õpetamise (optimeerimise) ülesanne seisneb veafunktsiooni minimiseerimisel. Tehisnärvivõrkude teoreetilised alused –Stone-Weierstrassi teoreem, Kolmogorovi teoreem: Stone-Weierstrassi teoreem väidab, et teoreetiliselt eksisteerivad niisugused ideaalsed võrgu parameetrid, et ta aproksimeerib antud funktsiooni mis tahes etteantud täpsusega. Kuna tänapäeval matemaatikas ei ole täpset meetodit mittelineaarse funktsiooni globaalse miinimumi leidmiseks ja kõikide optimeerimismeetodite abil saab leida ainult minimiseeruva funktsiooni lokaalsed
annaabi.ee 
