Neurónové siete

 

Prednášajú: (streda DE150, 7.00 - 8.40)

prof. Ing. Vladimír Kvasnička, DrSc.

Ing. Michal Čerňanský, PhD.

 

Cvičia: (štvrtok C117a, 18.50-20.30)

Ing. Michal Čerňanský, PhD.

Mgr. Juraj Laca

 

 

1. Prednáška (26.9. 2007)

Logické neuróny a neurónové siete (podľa McCullocha a Pittsa)

priesvitky k prednáške (doc, pdf, pdfQ)

priesvitky k prednáške o vzťahu medzi symbolickou a subsymbolickou reprezentáciou  (doc, pdf)

 

2. Prednáška (3. 10. 2007)

Perceptrón (podľa Rosenblatta)

priesvitky k prednáške (doc, pdf, pdfQ)

 

3. Prednáška (10. 10. 2007)

Dopredná neurónová sieť (podľa Rumelharta)

priesvitky k prednáške (doc, pdf, pdfQ)

Poznámka: metóda spätného širenia chýb (back-propagation) pre výpočet gradientu účelovej funkcie je špecifikovaná formou algoritmu v dokumentoch

(a) 4. kapitola pripravovanej knihy „Neurónové siete“, str. 10. (pdf)

(b) 5. kapitola knihy “Úvod do teórie umelých neurónových sietí” (pdf)

 

4. Prednáška (17. 10. 2007)

Dopredná neurónová sieť (podľa Rumelharta) - pokračovanie

priesvitky k prednáške (doc, pdf, pdfQ)

 

5. Prednáška (24. 10. 2007)

Učenie neurónových sietí s odmenou a trestom (reinforcement learning)

priesvitky k prednáške (doc, pdf, pdfQ)

 

6. prednáška (31. 10. 2007)

Evolučné algoritmy

priesvitky k prednáške (pdf1, ppt, pdf2)

 

7. prednáška (7. 11. 2007)

Rekurentné neurónové siete I

Priesvitky k prednáška (pdf0, pdf1, pdf2, pdf3 )

 

8. prednáška (14. 11. 2007)

Rekurentné neurónové siete II

Algoritmizácia Elmanovej rekurentnej neurónovej sieti + projekty  (pdf), Elman’s paper pdf

 

9. prednáška (21. 11. 2007)

Rekurentné neurónové siete III

Algoritmizácia Pollackovej rekuretnej autoasociativnej pamäti (Recurrent AutoAssociative Memory – RAAM) + projekty  (prezentácia pdf, Pollack’s paper pdf, program v Pascale RAAM, vstupné data do programu data)

 

10. prednáška (28. 11. 2007)

Holografická distribuovaná reprezentácia

Vzťah medzi symbolickým a subsymbolickým prístupom v UI, teória pamäati.

(prezentácia pdf, paper pdf)

 

11. prednáška (12. 12. 2007)

Hopfieldova sieť

Základné vlastnosti, funkcia energien (Ljapunovova funkcia), asymptotické stavy, aplikácie, neurovedné implikácie.

(prezentácia pdf, kapitola pdf)

 

Písomná skúška z predmetu „Neurónové siete” bude v pondelok  7.1.2008 v
posluchárňach BC300 a CD300 od 16.30 do 19.15 hod. Písomkou sa môže získať
50% bodov. Bude obsahovať riešenie jednoduchých teoretických problémov,
ktoré nevyžadujú počítač. Okruh problémov, ktorý môže byť riešený v písomke:
 
(1)     Syntéza neurónovej siete pomocou logických neurónov pre danú výrokovú formulu.
(2)     Syntéza neurónovej siete, ktorá simuluje Boolovu funkciu zadanú tabuľkou.
(3)     Pojem lineárnej separovateľnosti (a neseparovateľnoasti) pre perceptróny, pojem 
perceptrónu vyššieho rádu, adaptácia perceptrónu, konštrukcia perceptrónu 2. rádu 
pre funkciu XOR.
(4)     Realizácia výpočtu gradientu účelovej funkcie pre jednoduchú doprednú neurónovú sieť
metódou „back-propagation“.
(5)     Časový rozklad Elmanovej rekurentnej neurónovej siete, schématické znázornenie pomocou
 pomocou orientovaných grafov.
(6)     Riešenie jednoduchej Hopfieldovej siete pomocou asymchrónnej metódy, konštrukcia
       a nakreslenie stavového diagramu siete.

 

Poznámka: dňa 21.1.2008 o 15.30 boli zverejnené v AIS výsledky z písomnej skúšky. Konzultovať 
hodnotenie je možné v stredu 23.1. od 10:00 do 11:30 v D209. Konzultovať hodnotenie a zapisovať
známky do indexu je možné počas opravného termínu vo štvrtok 31.1. od 13:30 do 15:00 v DE300. 
Konzultovať hodnotenie skúšky je možné aj prostredníctvom e-mailu na adrese cernansky@fiit.stuba.sk.

 

 

 

 

 

Literatúra dostupná na internete:

 

1.                 R. M. Hritsev - The ANN Book (pdf) (rozsiahly text o neurónových sieťach).

2.                 P. Sinčák and G. Andrejková – Neurónové siete. Inžinierske aplikácie  I a II (pdf1 , pdf2)

3.                 P. van der Smagt and B. Krose- An Introduction to Neural Networks (pdf)

4.                 M. J. L. Orr - An Introduction to Radial Basis Function Networks (tutorial) (pdf)

5.                 M. Brown - Layered Perceptron and the Error Back Propagation Algorithm (tutorial) (pdf)

6.                 V. Kvasnička, L. Beňušková, J. Pospíchal, I. Farkaš, P. Tiňo, and A. Kráľ – Úvod do teórie neurónových sietí

(IRIS, Bratislava, 1997, ISBN 80-88778-30-1) (pdf.zip)

7.                 Vasant Honavar - An Introduction to Neural Networks (lecture notes) (ps.zip)

8.                 Jiří Šíma and Roman Neruda: Teoretické otázky neurónových sítí. Matfyzpress, Praha, 1999 (pdf)

9.                 K. Machová: Strojové učenie (Elfa, Košice, 2002) (pdf)

10.             Vladimír Kvasnička a Jiří Pospíchal: Konekcionizmus a modelovanie kognitívnych procesov

(kapitola z knihy Kognitívne vedy, Kalligram, Bratislava, 2002) (pdf)

11.             Raul Rojas: Neural Networks. A Systematic Introduction. Springer, Berlin, 1996 (an excelent textbook on neural networks) (pdf)
 
 

 

 

 

 

 

 

 

 

 


*********************************************************************

Návrh osnovy učebného textu „Neurónové siete“

 

 

1. prednáška

História neurónových sietí a inšpirácie z neurobiológie (predbežná verzia pdf).

 

2. prednáška

 Logické neuróny McCullocha a Pittsa: vlastnosti logického neurónu, lineárna separovateľnosť, vlastnosť univerzálnosti v doméne Boolových funkcií, neurón vyššieho rádu (predbežná verzia pdf).

 

3. prednáška

Perceptrón: pojem učenia s učiteľom, učiace pravidlo perceptrónu, klasifikácia vzorov, lineárne separovateľne problémy. Spojitý perceptrón, chybová funkcia, učenie  (predbežná verzia pdf).

 

4. prednáška

Dopredné neurónové siete I: viacvrstvové dopredné siete, učenie, výpočet gradientu a Hessianu  chybovej funkcie, gradientové optimalizačné metódy  (predbežná verzia pdf).

 

5. prednáška

Dopredné neurónové siete II: trénovacia a testovacia množina, aproximácia funkcii, zovšeobecňovanie, preučenie, optimálne ukončenie učenia, selekcia modelu, „cross-validácia“, „bootstrap", modifikácie základného učiaceho pravidla, univerzálnosť dopredných 3-vrstvových sietí.

 

6. prednáška

Dopredné neurónové siete III: praktické aplikácie, rozpoznávanie písmen, signálov, a pod.

 

7. prednáška

Učenie s odmenou a trestom: formulácia metódy, pohyb agenta v bludisku, hranie párových symetrických hier pomocou NS.

 

8. prednáška

Špeciálne typy neurónových sietí: neurónové siete s radiálnymi bázovými funkciami, vlastnosti, učenie a univerzálnosť. Fuzzy neurónové siete, vlastnosti, učenie a univerzálnosť.

 

9. prednáška

Rekurentne neurónové siete I: časová štruktúra v dátach, dopredné neurónové siete s časovým oneskorením, príklady trénovania rekurentnej neurónovej siete.

 

10. prednáška

Rekurentne neurónové siete II: trenovanie rekurentnych neuronovych metódou spätného šírenia chýb (BPTT), trenovanie rekurentnych neuronovych metódou v realnom case (RTRL).

 

11. prednáška

Rekurentne neurónové siete III: aplikacia rekurentnych neurónových sietí k riešeniu predikčných, klasifikačných a generatívnych úloh pri spracovaní postupnosti údajov.

 

12. prednáška

Samoorganizované neurónové siete: Ojovo a Sangerovo pravidlo učenia, extrakcia hlavných komponent v datách, redukcia dimenzie dát, Kohonenova sieť, klastrovanie, Hopfieldova neurónová sieť.

 

13. prednáška

Evolučný konekcionizmus: učenie neurónových sietí pomocou evolučných algoritmov, evolučný návrh architektúry neurónových sietí, evolučná robotika, multiagentové systémy s neurónovými sieťami.

 

14. prednáška

Teória Kalmanových filtrov: základné princípy teórie Kalmanových filtrov, použitie k učeniu neurónových sietí.

 

Poznámka: Každá kapitola obsahuje

(1)  príklady,

(2)  témy na eseje a projekty,

(3)  slovník základných pojmov,

(4)  zhrnutie a 

(5)  literatúru.