Tehisnärvivõrgud ja nende rakendused (1)

TALLINNA TEHNIKAÜLIKOOL
Automaatikainstituut Automaatjuhtimise ja süsteemianalüüsi õppetool
TEHISNÄRVIVÕRGUD JA NENDE RAKENDUSED Õppematerjal
Koostas: Eduard Petlenkov
Tallinn 2004 1
Sisukord
Eessõna .......................................................................................................................................2
1. Tehisnärvivõrgud ........................................................................................3 1.1. bioloogiline neuron ja bioloogilised närvivõrgud .......................................3 1.2. tehisneuron ....................................................................................4 1.3. tehisnärvivõrgud ja nende arhitektuurid ..................................................................7 1.3.1. Otsesuunatud närvivõrgud ja mitmekihiline pertseptron ...................................8 1.3.2. Rekurentsed närvivõrgud .................................................................................10 1.3.3. Iseorganiseeruvad närvivõrgud ........................................................................11 1.4. Õppimine, õpiprotsessid, õpialgoritmid .................................................................12 1.4.1. Gradient vea pöördlevi meetod ........................................................................14 1.4.2. Widrow- Hoff 'i algoritm ...................................................................................15 1.4.3. Kohonen'i iseorganiseerumise algoritm ..........................................................16 1.5. Õppimise ülesanded ...............................................................................................16
2. Teoreetilised alused ............................................................................................................19 2.1. Stone -Weierstrassi teoreem ....................................................................................19 2.2. Kolmogorovi teoreem ............................................................................................22
3. Mitmekihiline pertseptron ja vea tagasilevi meetod ..........................................................24
4. Modelleerimine tehisnärvivõrkudega ................................................................................28
5. Juhtimine tehisnärvivõrkudega ..........................................................................................30 5.1. Ennustamisega juhtimine .......................................................................................30 5.2. Närvivõrgu õpetamine regulaatori realiseerimiseks ...............................................31 5.3. Närvivõrkude kasutamine PID-regulaatori sünteesil .............................................31
Kirjanduse alfabeetiline loetelu ...............................................................................................33 2
Eessõna Tallinna Tehnikaülikoolis ei õpeta spetsiaalset närvivõrkude kursust. Käesolev õppematerjal on ettenähtud eelkõige info- ja kommunikatsioonitehnoloogia valdkonna üliõpilastele. Ta annab ülevaate tehisnärvivõrkude koostamise printsiipidest ja nende tähtsamatest rakendustest . Erilist tähelepane pööratakse mitmekihilisele pertseptroni struktuurile ja vea tagasilevi meetodile. Iga peatükki lõpus huvitundjatele pakutakse täiendavat kirjandust, kust saab leida rohkem informatsiooni vaadeldava temaatika kohta. 3
1 Tehisnärvivõrgud ( artificial neural networks , ) Tänapäeval üks populaarsemaid mõisteid juhtimisteoorias on Närvivõrk. Vaatleme mis on närvivõrk, millest võrk koosneb, kuidas seda kasutada ja missugused praktilised ülesanded võivad olla lahendatud nende abil.
Tehisnärvivõrk on väga lihtsustatud bioloogilise närvivõrgu mudel. Tema tööalgoritmid on ka tulnud bioloogiliste närvivõrkude tööprintsiibist.
1.1 Bioloogiline neuron ja bioloogilised närvivõrgud
Inimese aju on väga keeruline ja võimas süsteem. Ta on võimeline mõtlema, mäletama, ja lahendama probleemi. Seepärast teda tööd katsetakse simuleerida arvuti mudeli abil. Aju koosneb omavahel seotud rakkudest ­ neuronitest.
Bioloogiline neuron (joonis 1.1) on lihtne andmeid töötlev süsteem. Ta saab informatsiooni dendriitide kaudu. Dendriit -id on bioloogilise närvivõrgu sisendid . Sisendsignaalideks on närvi impulsid ­ väga nõrgad elektrilised voolud. Neuron võtab vastu signaalid ja teisendab neid kui nad on piisava tugevusega. Akson on neuroni väljund. Ühel neuronil võib olla mitu sisendit ja ainult üks väljund. Peamised informatsiooni teisendused toimuvad neuroni kehas, mida nimetatakse soma -ks. Kõik seal toimuvad protsessid on keemilised. Need protsessid genereerivad väljund signaali, mille tugevus sõltub sisend signaalide tugevusest teatud bioloogiliste seaduste järgi. Bioloogilises neuronis eelpool mainitud seadus sõltub neuroni Joonis 1.1 Bioloogiline neuron aktiivsusest ja võib muutuda ajas.
Üksikud neuronid ühendatakse võrku sinaptiliste ühenduste abil (joonis 1.2). Signaal neuroni väljundist antakse teiste neuronite sisenditele. Iga neuroni sisend võib olla ühendatud ühe neuroni väljundiga ja ainus väljund teiste neuronite ühe sisendiga. Sünaps asub ühe neuroni väljundi ja teise neuroni sisendi vahel. Ta võib nii tugevdada kui ka nõrgendada elektrilise impulsi tugevuse analoogiliselt takistusele elektriskeemis. Aju töötamisel see protsess on Joonis 1.2 Bioloogiline närvivõrk üks olulisemaid ja keeruliselt realiseeritav. Sünaptilised ühendused juhivad aju tööd, nende väärtustest sõltub inimese mälu. Näiteks. Kui inimene sünnib siis tema ajus on umbes 100 miljardit neuronit ja iga neuron on sünaptiliste ühenduste kaudu ühendatud umbes 1000 teiste neuronitega. Niimoodi on moodustunud 100 triljonit sünaptilist ühendust, mis juhivad aju tööd. Põhjalikumalt bioloogilistest neuronitest ja närvivõrkudest vaata täiendavast kirjandusest. 4
Täiendav kirjandus: 1. Tsoukalas, L. H., Uhrig, R. E. Fuzzy and neural approaches in engineering . New York : Wiley-Interscience, 1996. 587 p. 2. Haykin, S. Neural Networks, Prentice-Hall international (UK) Limited, London, 1994. 696 p. 3. , . . : : « ». . , 1999. 76 .
1.2 Tehisneuron
Bioloogiline neuron on väga keeruline süsteem ja tema täpset matemaatilist mudelit veel ei ole. Tehisneuron on bioloogilise neuroni lihtsustatud matemaatiline mudel. Nendest mudelitest üks võimsamaid on F.Rosenblatt´i neuroni mudel. Ta koosneb kahest osast: kaalutud summaatorist ja mittelineaarsest elemendist. Üldine tehisneuroni struktuur on toodud joonisel 1.3.
kaalutud summaator
mittelineaarne element Joonis 1.3 Tehisneuron
Igal neuronil on n sisendit x1 K x n . x1 X = M on tehisneuroni sisendite vektor . x n Iga sisend korrutatakse läbi kaalukoefitsiendiga, mida mõni kord nimetatakse sünaptiliseks kaaluks ( synaptic weight, ). Need koefitsiendid võivad olla nii positiivsed kui ka negatiivsed, analoogiliselt bioloogiliste neuronite sünaptiliste ühendustega. Nad võimaldavad nii suurendada kui ka vähendada elektrilise impulsi tugevust. W = [w1 K wn ] on tehis Joonis 1.4 Tehisneuroni elemendid neuroni kaalukoefitsientide vektor (joonis 1.4). 5
Kaalutud summatori sisendis iga sisend korrutatakse läbi vastava kaalukoefitsiendiga. Summatori väljund NET on nende korrutiste summa. Järelikult summatori funktsiooni võib kirjutada järgnevalt:
x1 NET = W X = [w1 K wn ] M = w1 x1 + K + wn x n . (1.1) x n
Mittelineaarse elemendi funktsiooni nimetatakse aktiveerimisfunktsiooniks (activation function , ). Kaalutud sisendsignaalide summast NET arvutab aktiveerimisfunktsioon neuroni väljundi OUT. OUT=f(NET) (1.2)
Tavaliselt, aktiveerimisfunktsioon on pidev mittelineaarne funktsioon, aga mõnedel rakendustel võib ka lineaarne olla. Kõige levinumad aktiveerimisfunktsioonid on sigmoid funktsioonid.
Sigmoid funktsioonid on ülemise ja alumise raja (0 ja 1 või -1 ja 1) vahel monotoonselt kasvavad pidevad funktsioonid. Nende funktsioonide põhiliseks eesmärgiks on hoida neuronite väljundid mõistlikes piirides.
Sigmoid funktsioonide näited on logistiline funktsioon ja hüperboolne tangens :
1. Logistiline funktsioon (logistic function, ):
1 OUT = (1.3) 1 + e - NET
Joonis 1.5 Logistiline funktsioon
Neuroni väljund on piiratud vahemikus [0; +1].
2. Hüperboolne tangens (hyperbolic tangent function, ):
e NET - e - NET OUT = (1.4) e NET + e - NET
Joonis 1.6 Hüperboolne tangens 6
Neuroni väljund on piiratud vahemikus [-1; +1].
3. Tihti kasutatakse ka lineaarset aktiveerimisfunktsiooni:
Seda funktsiooni kasutatakse, näiteks, lineaarsete süsteemide identifitseerimisel ja sellistel