Tehisnärvivõrgud ja nende rakendused (1)

TALLINNA TEHNIKAÜLIKOOL
Automaatikainstituut Automaatjuhtimise ja süsteemianalüüsi õppetool
TEHISNÄRVIVÕRGUD JA NENDE RAKENDUSED Õppematerjal
Koostas: Eduard Petlenkov
Tallinn 2004 1
Sisukord
Eessõna .......................................................................................................................................2
1. Tehisnärvivõrgud ........................................................................................3 1.1. bioloogiline neuron ja bioloogilised närvivõrgud .......................................3 1.2. tehisneuron ....................................................................................4 1.3. tehisnärvivõrgud ja nende arhitektuurid ..................................................................7 1.3.1. Otsesuunatud närvivõrgud ja mitmekihiline pertseptron ...................................8 1.3.2. Rekurentsed närvivõrgud .................................................................................10 1.3.3. Iseorganiseeruvad närvivõrgud ........................................................................11 1.4. Õppimine, õpiprotsessid, õpialgoritmid .................................................................12 1.4.1. Gradient vea pöördlevi meetod ........................................................................14 1.4.2. Widrow- Hoff 'i algoritm ...................................................................................15 1.4.3. Kohonen'i iseorganiseerumise algoritm ..........................................................16 1.5. Õppimise ülesanded ...............................................................................................16
2. Teoreetilised alused ............................................................................................................19 2.1. Stone -Weierstrassi teoreem ....................................................................................19 2.2. Kolmogorovi teoreem ............................................................................................22
3. Mitmekihiline pertseptron ja vea tagasilevi meetod ..........................................................24
4. Modelleerimine tehisnärvivõrkudega ................................................................................28
5. Juhtimine tehisnärvivõrkudega ..........................................................................................30 5.1. Ennustamisega juhtimine .......................................................................................30 5.2. Närvivõrgu õpetamine regulaatori realiseerimiseks ...............................................31 5.3. Närvivõrkude kasutamine PID-regulaatori sünteesil .............................................31
Kirjanduse alfabeetiline loetelu ...............................................................................................33 2
Eessõna Tallinna Tehnikaülikoolis ei õpeta spetsiaalset närvivõrkude kursust. Käesolev õppematerjal on ettenähtud eelkõige info- ja kommunikatsioonitehnoloogia valdkonna üliõpilastele. Ta annab ülevaate tehisnärvivõrkude koostamise printsiipidest ja nende tähtsamatest rakendustest . Erilist tähelepane pööratakse mitmekihilisele pertseptroni struktuurile ja vea tagasilevi meetodile. Iga peatükki lõpus huvitundjatele pakutakse täiendavat kirjandust, kust saab leida rohkem informatsiooni vaadeldava temaatika kohta. 3
1 Tehisnärvivõrgud ( artificial neural networks , ) Tänapäeval üks populaarsemaid mõisteid juhtimisteoorias on Närvivõrk. Vaatleme mis on närvivõrk, millest võrk koosneb, kuidas seda kasutada ja missugused praktilised ülesanded võivad olla lahendatud nende abil.
Tehisnärvivõrk on väga lihtsustatud bioloogilise närvivõrgu mudel. Tema tööalgoritmid on ka tulnud bioloogiliste närvivõrkude tööprintsiibist.
1.1 Bioloogiline neuron ja bioloogilised närvivõrgud
Inimese aju on väga keeruline ja võimas süsteem. Ta on võimeline mõtlema, mäletama, ja lahendama probleemi. Seepärast teda tööd katsetakse simuleerida arvuti mudeli abil. Aju koosneb omavahel seotud rakkudest ­ neuronitest.
Bioloogiline neuron (joonis 1.1) on lihtne andmeid töötlev süsteem. Ta saab informatsiooni dendriitide kaudu. Dendriit -id on bioloogilise närvivõrgu sisendid . Sisendsignaalideks on närvi impulsid ­ väga nõrgad elektrilised voolud. Neuron võtab vastu signaalid ja teisendab neid kui nad on piisava tugevusega. Akson on neuroni väljund. Ühel neuronil võib olla mitu sisendit ja ainult üks väljund. Peamised informatsiooni teisendused toimuvad neuroni kehas, mida nimetatakse soma -ks. Kõik seal toimuvad protsessid on keemilised. Need protsessid genereerivad väljund signaali, mille tugevus sõltub sisend signaalide tugevusest teatud bioloogiliste seaduste järgi. Bioloogilises neuronis eelpool mainitud seadus sõltub neuroni Joonis 1.1 Bioloogiline neuron aktiivsusest ja võib muutuda ajas.
Üksikud neuronid ühendatakse võrku sinaptiliste ühenduste abil (joonis 1.2). Signaal neuroni väljundist antakse teiste neuronite sisenditele. Iga neuroni sisend võib olla ühendatud ühe neuroni väljundiga ja ainus väljund teiste neuronite ühe sisendiga. Sünaps asub ühe neuroni väljundi ja teise neuroni sisendi vahel. Ta võib nii tugevdada kui ka nõrgendada elektrilise impulsi tugevuse analoogiliselt takistusele elektriskeemis. Aju töötamisel see protsess on Joonis 1.2 Bioloogiline närvivõrk üks olulisemaid ja keeruliselt realiseeritav. Sünaptilised ühendused juhivad aju tööd, nende väärtustest sõltub inimese mälu. Näiteks. Kui inimene sünnib siis tema ajus on umbes 100 miljardit neuronit ja iga neuron on sünaptiliste ühenduste kaudu ühendatud umbes 1000 teiste neuronitega. Niimoodi on moodustunud 100 triljonit sünaptilist ühendust, mis juhivad aju tööd. Põhjalikumalt bioloogilistest neuronitest ja närvivõrkudest vaata täiendavast kirjandusest. 4
Täiendav kirjandus: 1. Tsoukalas, L. H., Uhrig, R. E. Fuzzy and neural approaches in engineering . New York : Wiley-Interscience, 1996. 587 p. 2. Haykin, S. Neural Networks, Prentice-Hall international (UK) Limited, London, 1994. 696 p. 3. , . . : : « ». . , 1999. 76 .
1.2 Tehisneuron
Bioloogiline neuron on väga keeruline süsteem ja tema täpset matemaatilist mudelit veel ei ole. Tehisneuron on bioloogilise neuroni lihtsustatud matemaatiline mudel. Nendest mudelitest üks võimsamaid on F.Rosenblatt´i neuroni mudel. Ta koosneb kahest osast: kaalutud summaatorist ja mittelineaarsest elemendist. Üldine tehisneuroni struktuur on toodud joonisel 1.3.
kaalutud summaator
mittelineaarne element Joonis 1.3 Tehisneuron
Igal neuronil on n sisendit x1 K x n . x1 X = M on tehisneuroni sisendite vektor . x n Iga sisend korrutatakse läbi kaalukoefitsiendiga, mida mõni kord nimetatakse sünaptiliseks kaaluks ( synaptic weight, ). Need koefitsiendid võivad olla nii positiivsed kui ka negatiivsed, analoogiliselt bioloogiliste neuronite sünaptiliste ühendustega. Nad võimaldavad nii suurendada kui ka vähendada elektrilise impulsi tugevust. W = [w1 K wn ] on tehis Joonis 1.4 Tehisneuroni elemendid neuroni kaalukoefitsientide vektor (joonis 1.4). 5
Kaalutud summatori sisendis iga sisend korrutatakse läbi vastava kaalukoefitsiendiga. Summatori väljund NET on nende korrutiste summa. Järelikult summatori funktsiooni võib kirjutada järgnevalt:
x1 NET = W X = [w1 K wn ] M = w1 x1 + K + wn x n . (1.1) x n
Mittelineaarse elemendi funktsiooni nimetatakse aktiveerimisfunktsiooniks (activation function , ). Kaalutud sisendsignaalide summast NET arvutab aktiveerimisfunktsioon neuroni väljundi OUT. OUT=f(NET) (1.2)
Tavaliselt, aktiveerimisfunktsioon on pidev mittelineaarne funktsioon, aga mõnedel rakendustel võib ka lineaarne olla. Kõige levinumad aktiveerimisfunktsioonid on sigmoid funktsioonid.
Sigmoid funktsioonid on ülemise ja alumise raja (0 ja 1 või -1 ja 1) vahel monotoonselt kasvavad pidevad funktsioonid. Nende funktsioonide põhiliseks eesmärgiks on hoida neuronite väljundid mõistlikes piirides.
Sigmoid funktsioonide näited on logistiline funktsioon ja hüperboolne tangens :
1. Logistiline funktsioon (logistic function, ):
1 OUT = (1.3) 1 + e - NET
Joonis 1.5 Logistiline funktsioon
Neuroni väljund on piiratud vahemikus [0; +1].
2. Hüperboolne tangens (hyperbolic tangent function, ):
e NET - e - NET OUT = (1.4) e NET + e - NET
Joonis 1.6 Hüperboolne tangens 6
Neuroni väljund on piiratud vahemikus [-1; +1].
3. Tihti kasutatakse ka lineaarset aktiveerimisfunktsiooni:
Seda funktsiooni kasutatakse, näiteks, lineaarsete süsteemide identifitseerimisel ja sellistel rakendustel, kus väljundi väärtus ei pea olema piiratud.
OUT = k NET , (1.5) kus k = tan( ) = const .
Joonis 1.7 Lineaarne funktsioon
Mõnedel juhtumitel kasutatakse ka järgnevaid aktiveerimisfunktsioone:
4. Astmefunktsioon ( step function, ):
Nimetatud funktsiooni saab esitada kahel erineval viisil (-1,1) või (0,1).
0, kui NET Seda funktsiooni kasutatakse suvaliste loogiliste skeemide sünteesiks tehisneuronite alusel, aga ei luba modelleerida pidevate signaalidega skeeme .
5. Gaussi funktsioon (Gauss function, ):
( NET - m ) 1 - OUT = e 2 2 (1.8) 2
Joonis 1.9 Gaussi funktsioon 7
Üldjuhul, aktiveerimisfunktsiooni valik sõltub · konkreetsest ülesandest (sisendite ja väljundite väärtusteest ja füüsilisest interpretatsioonist) · närvivõrgu realiseerimisviisist (arvutil või elektrilise skeemi kujul) · kasutatavast õppimisalgoritmist (sellest räägime hiljem).
Põhjalikumalt tehisneuronitest ja nende aktiveerimisfunktsioonide tüüpidest saab lugeda järgmisest kirjandusest.
Täiendav kirjandus: 1. Lu, Y-Z. Industrial intelligent control . Fundamentals and applications. Chicher: Wiley, 1996. 325 p. 2. Tsoukalas, L. H., Uhrig, R. E. Fuzzy and neural approaches in engineering. New York: Wiley-Interscience, 1996. 587 p. 3. Haykin, S. Neural Networks, Prentice-Hall international (UK) Limited, London, 1994. 696 p. 4. , . . : : « ». . , 1999. 76 .
1.3 Tehisnärvivõrgud ja nende arhitektuurid
Tehisneuroni struktuur on üsna lihtne, aga vaatamata sellele nendest võib koostada väga keerukaid närvivõrke. Närvivõrkude definitsioone on palju. Kõige levinumad nendest on järgnevad. Kõige lihtsam definitsioon: Tehisnärvivõrk on bioloogiliste närvivõrkude mudelite kogum.
Natuke keerulisem vaid täpsem definitsioon: Närvivõrk on andmetöötlus süsteem, mis koosneb suurest arvust lihtsatest ja omavahel tugevalt seotud, tehisneuronitest. Tehisneuronid on ühendatud arhitektuuri, mis on võetud inimese ajukoorist.
Närvivõrkude struktuurid on väga erinevad. Vaatleme mõnda nendest. Reeglina paiknevad neuronid kihiti (erandid on ka olemas, näiteks, iseorganiseeruvad võrgud).
Närvivõrgud jagunevad kaheks tüübiks: otsesuunatud ja rekurentsed ( tagasisidega ). Otsesuunatud võrgu neuroni väljund võib olla seotud ainult järgmisel kihil oleva neuroni sisendiga. Tagasisidega ehk rekurentsetes võrkudes neuroni väljund võib olla ühendatud nii järgmise kihi neuronite sisenditega kui ka eelmiste kihtide neuronite sisenditega.
Närvivõrgud jagunevad kaheks tüübiks: otsesuunatud ja rekurentsed (tagasisidega). Otsesuunatud võrgu neuroni väljund võib olla seotud ainult järgmisel kihil oleva neuroni sisendiga. Tagasisidega ehk rekurentsetes võrkudes neuroni väljund võib olla ühendatud nii järgmise kihi neuronite sisenditega kui ka eelmiste kihtide neuronite sisenditega.
Närvivõrke veel võib jagada hetero -assotsiatiivseteks (heteroassociative, ) ja auto-assotsiatiivseks (autoassociative, ). Hetero-assotsiatiivsed närvivõrgud on sellised, kus väljundvektori dimensioon ei lange kokku 8
sisendvektori dimensiooniga. Auto-assotsiatiivsed on need närvivõrgud, kus sisendvektori ja väljundvektori dimensioonid langevad kokku.
Esimese närvivõrgu arhitektuuri (ühekihilise pertseptroni) pakkus välja 20. sajandi keskel Frank Rosenblatt. See oli silma võrkkesta matemaatiline mudel. Tänapäeval kõige populaarsem närvivõrgu arhitektuur on mitmekihiline pertseptron (multilayer perceptron, ). Umbes 80% praktiliselt töötavatest närvivõrkude rakendustest kasutavad selle arhitektuuri.
Järgnevas vaatleme mõned populaarsemad tehisnärvivõrkude arhitektuurid
1.3.1 Otsesuunatud närvivõrgud ja mitmekihiline pertseptron
Otsesuunatuks nimetatakse närvivõrku, milles iga neuroni väljund võib olla seotud ainult järgmisel kihil oleva neuroni sisendiga. Mitmekiheline pertseptron on kõige levinum otsesuunatud võrk. Neuronid paiknevad kihiti. Närvivõrk võib koosneda suvalisest arvust neuroneist ja närvivõrgu kihtidest. Iga kihi iga neuroni väljund on seotud järgmise kihi iga neuroni ühe sisendiga. ("igaüks igaühega" printsiibi järgi).
Mitmekihilises pertseptronis on alati üks sisendkiht ( N I - input layer , ), üks väljundkiht ( N O - output layer, ), ülejäänud kihid kannavad peidetud Joonis 1.10 Mitmekihiline pertseptron kihtide nimetust ( N H - hidden layer, ). Peidetud kihtide sisendid ja väljundid ei ole otseselt seotud väliskeskkonnaga. Selle kihi neuronid saavad informatsiooni eelmise kihi neuronite väljunditest, teisendavad seda ja annavad edasi järgmise kihi neuronite sisenditele. Väljundkihi neuronite ülesanne on arvutada võrgu väljundid. Joonisel 1.10 toodud näites on ainult üks väljund, aga neid võib olla ka rohkem. Neuronite arv väljundkihil ongi närvivõrgu väljundite arv. Mitmekihilisel pertseptronil võib olla suvaline arv sisendeid ja väljundeid. Järelikult, see on auto-assotsiatiivsene närvivõrk.
Sisendkihis ei toimu informatsiooni töötlust, ta ainult jaotab sisendsignaalid esimese peidetud kihi neuronite vahel. Seepärast seda kihti ei arvestata kihtide kokkulugemisel. See tähendab, et pertseptroni, mis koosneb ühest sisendkihist, ühest peidetud kihist ja ühest väljundkihist nimetatakse kahekihiliseks. Joonisel 1.10 toodud pertseptroni näide on kolmekihiline pertseptron.
Iga neuroni sisend korrutatakse läbi vastava kaalukoefitsiendiga wijl , kus