Neurónové siete
Prednášajú: (streda DE150, 7.00 - 8.40)
prof. Ing.
Vladimír Kvasnička, DrSc.
Ing. Michal
Čerňanský, PhD.
Cvičia:
(štvrtok C117a,
18.50-20.30)
Ing. Michal
Čerňanský, PhD.
Mgr. Juraj
Laca
1. Prednáška
(26.9. 2007)
Logické
neuróny a neurónové siete (podľa McCullocha a Pittsa)
priesvitky k
prednáške (doc,
pdf, pdfQ)
priesvitky k
prednáške o vzťahu medzi symbolickou a subsymbolickou reprezentáciou (doc,
pdf)
2. Prednáška
(3. 10. 2007)
Perceptrón (podľa Rosenblatta)
priesvitky k
prednáške (doc,
pdf, pdfQ)
3. Prednáška
(10. 10. 2007)
Dopredná
neurónová sieť (podľa Rumelharta)
priesvitky k
prednáške (doc,
pdf, pdfQ)
Poznámka: metóda spätného
širenia chýb (back-propagation) pre výpočet gradientu účelovej
funkcie je špecifikovaná formou algoritmu v dokumentoch
(a) 4. kapitola pripravovanej knihy „Neurónové siete“, str.
10. (pdf)
(b) 5.
kapitola knihy “Úvod do teórie umelých neurónových sietí” (pdf)
4. Prednáška
(17. 10. 2007)
Dopredná
neurónová sieť (podľa Rumelharta) - pokračovanie
priesvitky k
prednáške (doc,
pdf, pdfQ)
5. Prednáška
(24. 10. 2007)
Učenie
neurónových sietí s odmenou a trestom (reinforcement learning)
priesvitky k
prednáške (doc,
pdf, pdfQ)
6. prednáška (31. 10. 2007)
Evolučné algoritmy
priesvitky k
prednáške (pdf1,
ppt, pdf2)
7. prednáška (7. 11.
2007)
Rekurentné
neurónové siete I
Priesvitky k prednáška (pdf0, pdf1, pdf2,
pdf3 )
8. prednáška
(14. 11. 2007)
Rekurentné
neurónové siete II
Algoritmizácia Elmanovej rekurentnej neurónovej sieti +
projekty (pdf), Elman’s paper pdf
9. prednáška
(21. 11. 2007)
Rekurentné
neurónové siete III
Algoritmizácia Pollackovej rekuretnej autoasociativnej
pamäti (Recurrent AutoAssociative Memory – RAAM) + projekty (prezentácia pdf, Pollack’s paper pdf, program v Pascale RAAM, vstupné data do programu data)
10.
prednáška (28. 11. 2007)
Holografická
distribuovaná reprezentácia
Vzťah medzi symbolickým a subsymbolickým
prístupom v UI, teória pamäati.
11. prednáška (12. 12. 2007)
Hopfieldova sieť
Základné vlastnosti, funkcia energien (Ljapunovova
funkcia), asymptotické stavy, aplikácie, neurovedné implikácie.
(prezentácia pdf, kapitola pdf)
Písomná skúška z predmetu „Neurónové siete” bude v pondelok 7.1.2008 v posluchárňach BC300 a CD300 od 16.30 do 19.15 hod. Písomkou sa môže získať 50% bodov. Bude obsahovať riešenie jednoduchých teoretických problémov, ktoré nevyžadujú počítač. Okruh problémov, ktorý môže byť riešený v písomke:
(1) Syntéza neurónovej siete pomocou logických neurónov pre danú výrokovú formulu. (2) Syntéza neurónovej siete, ktorá simuluje Boolovu funkciu zadanú tabuľkou. (3) Pojem lineárnej separovateľnosti (a neseparovateľnoasti) pre perceptróny, pojem perceptrónu vyššieho rádu, adaptácia perceptrónu, konštrukcia perceptrónu 2. rádu pre funkciu XOR. (4) Realizácia výpočtu gradientu účelovej funkcie pre jednoduchú doprednú neurónovú sieť metódou „back-propagation“. (5) Časový rozklad Elmanovej rekurentnej neurónovej siete, schématické znázornenie pomocou pomocou orientovaných grafov. (6) Riešenie jednoduchej Hopfieldovej siete pomocou asymchrónnej metódy, konštrukcia a nakreslenie stavového diagramu siete.
Poznámka: dňa 21.1.2008 o 15.30 boli zverejnené v AIS výsledky z písomnej skúšky. Konzultovať hodnotenie je možné v stredu 23.1. od 10:00 do 11:30 v D209. Konzultovať hodnotenie a zapisovať známky do indexu je možné počas opravného termínu vo štvrtok 31.1. od 13:30 do 15:00 v DE300. Konzultovať hodnotenie skúšky je možné aj prostredníctvom e-mailu na adrese cernansky@fiit.stuba.sk. |
Literatúra dostupná na internete:
1.
R. M. Hritsev - The ANN Book (pdf) (rozsiahly text o neurónových
sieťach).
2.
P. Sinčák and G. Andrejková – Neurónové siete. Inžinierske aplikácie I a II (pdf1 , pdf2)
3.
P. van der Smagt and B. Krose- An Introduction to Neural Networks (pdf)
4.
M. J. L. Orr - An Introduction to Radial
Basis Function Networks (tutorial) (pdf)
5.
M. Brown - Layered Perceptron and the Error Back Propagation Algorithm
(tutorial) (pdf)
6.
V. Kvasnička, L. Beňušková, J. Pospíchal,
(IRIS, Bratislava, 1997,
ISBN 80-88778-30-1) (pdf.zip)
7.
Vasant Honavar - An Introduction to Neural Networks (lecture notes) (ps.zip)
8.
Jiří Šíma and Roman Neruda: Teoretické otázky neurónových sítí.
Matfyzpress, Praha, 1999 (pdf)
9.
K. Machová: Strojové
učenie (Elfa, Košice, 2002) (pdf)
10.
Vladimír Kvasnička a Jiří Pospíchal: Konekcionizmus a
modelovanie kognitívnych procesov
(kapitola z
knihy Kognitívne vedy, Kalligram,
11.
Raul Rojas: Neural Networks. A
Systematic Introduction. Springer,
*********************************************************************
Návrh osnovy učebného
textu „Neurónové siete“
1. prednáška
História neurónových
sietí a inšpirácie z neurobiológie (predbežná verzia pdf).
2.
prednáška
Logické neuróny McCullocha a Pittsa:
vlastnosti logického neurónu, lineárna separovateľnosť,
vlastnosť univerzálnosti v doméne Boolových funkcií, neurón vyššieho rádu
(predbežná verzia pdf).
3.
prednáška
Perceptrón: pojem
učenia s učiteľom, učiace pravidlo perceptrónu,
klasifikácia vzorov, lineárne separovateľne problémy. Spojitý perceptrón,
chybová funkcia, učenie (predbežná
verzia pdf).
4.
prednáška
Dopredné neurónové siete
I: viacvrstvové dopredné siete, učenie, výpočet gradientu a
Hessianu chybovej funkcie, gradientové
optimalizačné metódy (predbežná
verzia pdf).
5.
prednáška
Dopredné neurónové siete
II: trénovacia a testovacia množina, aproximácia funkcii,
zovšeobecňovanie, preučenie, optimálne ukončenie učenia,
selekcia modelu, „cross-validácia“, „bootstrap", modifikácie základného
učiaceho pravidla, univerzálnosť dopredných 3-vrstvových sietí.
6. prednáška
Dopredné neurónové siete
III: praktické aplikácie, rozpoznávanie písmen, signálov, a pod.
7.
prednáška
Učenie
s odmenou a trestom: formulácia metódy, pohyb agenta v bludisku,
hranie párových symetrických hier pomocou NS.
8.
prednáška
Špeciálne typy
neurónových sietí: neurónové siete s radiálnymi bázovými funkciami,
vlastnosti, učenie a univerzálnosť. Fuzzy neurónové siete,
vlastnosti, učenie a univerzálnosť.
9.
prednáška
Rekurentne neurónové
siete I: časová štruktúra v dátach, dopredné neurónové siete s
časovým oneskorením, príklady trénovania rekurentnej neurónovej siete.
10.
prednáška
Rekurentne neurónové
siete II: trenovanie rekurentnych neuronovych metódou spätného šírenia chýb
(BPTT), trenovanie rekurentnych neuronovych metódou v realnom case (RTRL).
11.
prednáška
Rekurentne neurónové
siete III: aplikacia rekurentnych neurónových sietí k riešeniu
predikčných, klasifikačných a generatívnych úloh pri spracovaní
postupnosti údajov.
12.
prednáška
Samoorganizované
neurónové siete: Ojovo a Sangerovo pravidlo učenia, extrakcia hlavných
komponent v datách, redukcia dimenzie dát, Kohonenova sieť, klastrovanie,
Hopfieldova neurónová sieť.
13.
prednáška
Evolučný
konekcionizmus: učenie neurónových sietí pomocou evolučných
algoritmov, evolučný návrh architektúry neurónových sietí, evolučná
robotika, multiagentové systémy s neurónovými sieťami.
14.
prednáška
Teória Kalmanových
filtrov: základné princípy teórie Kalmanových filtrov, použitie
k učeniu neurónových sietí.
Poznámka: Každá kapitola obsahuje
(1)
príklady,
(2)
témy na eseje a projekty,
(3)
slovník základných pojmov,
(4)
zhrnutie a
(5)
literatúru.