Tehisnärvivõrgud ja nende rakendamine (0)

TALLINNA TEHNIKAÜLIKOOL 
 
Automaatikainstituut 
Automaatjuhtimise ja süsteemianalüüsi õppetool 
 
 
 
 
 
 
 
  
TEHISNÄRVIVÕRGUD JA NENDE 
RAKENDUSED 
 
Õppematerjal 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Koostas:  Eduard  Petlenkov 
 
 
 
 
 
 
 
 
Tallinn 2004 
 
1 
Sisukord 
 
Eessõna .......................................................................................................................................2 
 
1.  Tehisnärvivõrgud ……………………….…………………......…………...……………...3 
1.1. 
bioloogiline neuron ja bioloogilised närvivõrgud …………………………………3 
1.2. 
tehisneuron ………………………………………………………………………...4 
1.3. 
tehisnärvivõrgud ja nende arhitektuurid ..................................................................7 
1.3.1.  Otsesuunatud närvivõrgud ja  mitmekihiline pertseptron ...................................8 
1.3.2.  Rekurentsed närvivõrgud .................................................................................10 
1.3.3.  Iseorganiseeruvad närvivõrgud ........................................................................11 
1.4. 
Õppimine, õpiprotsessid, õpialgoritmid .................................................................12 
1.4.1.   Gradient vea pöördlevi meetod ........................................................................14 
1.4.2.  Widrow- Hoff ’i algoritm  ...................................................................................15 
1.4.3.  Kohonen’i iseorganiseerumise algoritm ..........................................................16 
1.5. 
Õppimise ülesanded ...............................................................................................16 
 
2.   Teoreetilised alused ............................................................................................................19 
2.1. 
Stone -Weierstrassi teoreem ....................................................................................19 
2.2. 
Kolmogorovi teoreem ............................................................................................22 
 
3.  Mitmekihiline pertseptron ja vea tagasilevi meetod ..........................................................24 
 
4.   Modelleerimine tehisnärvivõrkudega ................................................................................28 
 
5.  Juhtimine tehisnärvivõrkudega ..........................................................................................30 
5.1. 
Ennustamisega juhtimine .......................................................................................30 
5.2. 
Närvivõrgu õpetamine regulaatori realiseerimiseks ...............................................31 
5.3. 
Närvivõrkude kasutamine PID-regulaatori sünteesil .............................................31 
 
Kirjanduse alfabeetiline loetelu ...............................................................................................33 
 
 
 
 
2 
Eessõna 
 
Tallinna Tehnikaülikoolis ei õpeta spetsiaalset närvivõrkude kursust. Käesolev õppematerjal 
on ettenähtud eelkõige info- ja kommunikatsioonitehnoloogia valdkonna üliõpilastele. Ta 
annab ülevaate tehisnärvivõrkude koostamise printsiipidest ja nende tähtsamatest 
rakendustest . Erilist tähelepane pööratakse mitmekihilisele pertseptroni struktuurile ja vea 
tagasilevi meetodile. Iga peatükki lõpus huvitundjatele pakutakse täiendavat kirjandust, kust 
saab leida rohkem informatsiooni vaadeldava temaatika kohta. 
 
3 
1 Tehisnärvivõrgud ( artificial  neural  networks , искусственные нейроные сети) 
 
Tänapäeval üks populaarsemaid mõisteid juhtimisteoorias on Närvivõrk.  Vaatleme mis on 
närvivõrk, millest võrk koosneb, kuidas seda kasutada ja missugused praktilised ülesanded 
võivad olla lahendatud nende abil. 
 
Tehisnärvivõrk on väga lihtsustatud bioloogilise närvivõrgu mudel. Tema tööalgoritmid on ka 
tulnud bioloogiliste närvivõrkude tööprintsiibist. 
 
1.1 Bioloogiline neuron ja bioloogilised närvivõrgud 
 
Inimese aju on väga keeruline ja võimas süsteem. Ta on võimeline mõtlema, mäletama, ja 
lahendama probleemi. Seepärast teda tööd katsetakse simuleerida arvuti mudeli abil. Aju 
koosneb omavahel seotud rakkudest – neuronitest. 
 
Bioloogiline neuron (joonis 1.1) on lihtne andmeid töötlev süsteem. Ta saab informatsiooni 
dendriitide kaudu.  Dendriit -id on bioloogilise 
närvivõrgu  sisendid . Sisendsignaalideks on närvi 
impulsid – väga nõrgad elektrilised voolud. 
Neuron võtab vastu signaalid ja teisendab neid 
kui nad on piisava tugevusega.  Akson  on neuroni 
väljund. Ühel neuronil võib olla mitu sisendit ja 
ainult üks väljund. Peamised informatsiooni 
teisendused toimuvad neuroni kehas, mida 
nimetatakse   soma -ks. Kõik seal toimuvad 
protsessid on keemilised. Need protsessid  
genereerivad väljund signaali, mille tugevus 
sõltub sisend signaalide tugevusest teatud 
bioloogiliste seaduste järgi. Bioloogilises 
neuronis eelpool mainitud seadus sõltub neuroni 
Joonis 1.1 Bioloogiline neuron 
aktiivsusest ja võib muutuda ajas. 
 
Üksikud neuronid ühendatakse võrku sinaptiliste ühenduste abil (joonis 1.2). Signaal neuroni 
väljundist antakse teiste neuronite  sisenditele. Iga neuroni sisend võib olla ühendatud ühe  
neuroni väljundiga ja ainus väljund teiste neuronite ühe sisendiga. Sünaps asub ühe neuroni 
väljundi ja teise neuroni 
sisendi vahel. Ta võib nii 
tugevdada kui ka 
nõrgendada elektrilise 
impulsi tugevuse 
analoogiliselt takistusele 
elektriskeemis. Aju 
töötamisel see protsess on 
üks olulisemaid ja 
Joonis 1.2 Bioloogiline närvivõrk 
keeruliselt realiseeritav. 
Sünaptilised ühendused juhivad aju tööd, nende väärtustest sõltub inimese mälu. Näiteks. Kui 
inimene sünnib siis tema ajus on umbes 100 miljardit neuronit ja iga neuron on sünaptiliste 
ühenduste kaudu ühendatud umbes 1000 teiste neuronitega. Niimoodi on moodustunud 100 
triljonit sünaptilist ühendust, mis juhivad aju tööd. Põhjalikumalt bioloogilistest neuronitest ja 
närvivõrkudest vaata täiendavast kirjandusest. 
 
4 
Täiendav kirjandus: 
1.  Tsoukalas, L. H., Uhrig, R. E. Fuzzy and neural approaches in engineering . New 
York : Wiley-Interscience, 1996. 587 p. 
2.  Haykin, S. Neural Networks, Prentice-Hall international (UK) Limited, London, 1994. 
696 p. 
3.  Заянцев,  И.  В.  Нейронные  сети:  основные  модели:  Учебное  пособие  к  курсу 
«Нейронные сети». Воронежский государственный университет. Воронеж, 1999. 
76 с. 
 
1.2 Tehisneuron 
 
Bioloogiline neuron on väga keeruline süsteem ja tema täpset matemaatilist mudelit veel ei 
ole. Tehisneuron on 
bioloogilise neuroni 
lihtsustatud matemaatiline 
mudel. Nendest mudelitest 
üks võimsamaid on 
F.Rosenblatt´i neuroni mudel. 
Ta koosneb kahest osast: 
kaalutud summaatorist ja 
mittelineaarsest elemendist. 
Üldine tehisneuroni struktuur 
on toodud joonisel 1.3. 
 
kaalutud summaator 
 
 
 
mittelineaarne element 
 
Joonis 1.3 Tehisneuron 
 
 
Igal neuronil on  n sisendit  x
. 
1 K xn
x1 
 
X = M   on tehisneuroni sisendite vektor . 
x 
 n 
Iga sisend korrutatakse läbi kaalukoefitsiendiga, mida mõni kord nimetatakse sünaptiliseks 
kaaluks ( synaptic  weight, 
синаптический  вес). Need 
koefitsiendid võivad olla nii 
positiivsed kui ka negatiivsed, 
analoogiliselt bioloogiliste 
neuronite sünaptiliste 
ühendustega. Nad 
võimaldavad nii suurendada 
kui ka vähendada elektrilise 
impulsi tugevust. 
W = [w
 on tehis  
1 Kwn ]
Joonis 1.4 Tehisneuroni elemendid 
neuroni kaalukoefitsientide 
vektor (joonis 1.4). 
 
 
5 
Kaalutud summatori sisendis iga sisend korrutatakse läbi vastava kaalukoefitsiendiga. 
Summatori väljund NET on nende korrutiste summa. Järelikult summatori funktsiooni võib 
kirjutada järgnevalt: 
 
x1 
 
NET = W ⋅ X = [w
. 
   
(1.1) 
1 K w
⋅ M
= w x +
1 1
K + w x
n ]
n
n
 
x 
 n 
 
Mittelineaarse elemendi funktsiooni nimetatakse aktiveerimisfunktsiooniks (activation 
function ,  функция  активации). Kaalutud sisendsignaalide summast  NET arvutab 
aktiveerimisfunktsioon neuroni väljundi OUT.  
OUT=f(NET) 
     (1.2) 
 
Tavaliselt, aktiveerimisfunktsioon on pidev mittelineaarne funktsioon, aga mõnedel 
rakendustel võib ka lineaarne olla. Kõige levinumad aktiveerimisfunktsioonid on sigmoid 
funktsioonid. 
 
Sigmoid funktsioonid on ülemise ja alumise raja (0 ja 1 või -1 ja 1) vahel monotoonselt 
kasvavad pidevad funktsioonid. Nende funktsioonide põhiliseks eesmärgiks on hoida 
neuronite väljundid mõistlikes piirides. 
 
Sigmoid funktsioonide näited on logistiline funktsioon ja hüperboolne tangens : 
 
1. Logistiline funktsioon (logistic function, логистическая кривая): 
 
 
 
 
1
OUT =
−
    
 
            (1.3) 
NET
1+ e
 
 
 
Joonis 1.5 Logistiline funktsioon 
 
 
Neuroni väljund on piiratud vahemikus [0; +1].  
 
2. Hüperboolne tangens (hyperbolic tangent function, гиперболический тангенс): 
 
 
 
 
NET
−NET
e
− e
              OUT =
   
                 (1.4) 
NET
−NET
e
+ e
 
 
 
  Joonis 1.6 Hüperboolne tangens 
 
 
 
6 
Neuroni väljund on piiratud vahemikus [-1; +1]. 
 
3. Tihti kasutatakse ka lineaarset aktiveerimisfunktsiooni:  
 
Seda funktsiooni kasutatakse, näiteks, lineaarsete süsteemide identifitseerimisel ja sellistel 
rakendustel, kus väljundi väärtus ei pea olema piiratud. 
 
 
 
 
 
 
 
OUT = k ⋅ NET , 
 
   (1.5) 
kus  k = tan(α ) =  const  . 
 
 
 
Joonis 1.7 Lineaarne funktsioon 
 
 
 
Mõnedel juhtumitel kasutatakse ka järgnevaid aktiveerimisfunktsioone: 
 
4. Astmefunktsioon ( step function, жёсткая ступенька):  
 
Nimetatud funktsiooni saab esitada kahel erineval  viisil (-1,1) või (0,1). 
 
 

 ,
0
kui
NET