Politechnika
Warszawska

Katalog
ECTS

Nazwa przedmiotu:

Zaawansowane zagadnienia sieci neuronowych

Koordynator przedmiotu:

Rajmund Kożuszek

Status przedmiotu:

Fakultatywny dowolnego wyboru

Poziom kształcenia:

Studia II stopnia

Program:

Informatyka

Grupa przedmiotów:

Przedmioty techniczne - zaawansowane

Kod przedmiotu:

ZZSN

Semestr nominalny:

3 / rok ak. 2021/2022

Liczba punktów ECTS:

4

Liczba godzin pracy studenta związanych z osiągnięciem efektów uczenia się:

1. liczba godzin kontaktowych – 51 godz.,w tym: a. obecność na wykładach: 30 godz., b. udział w spotkaniach projektowych: 15 godz., c. udział w konsultacjach związanych z realizacją przedmiotu: 4 godz., d. udział w egzaminie: 2 godz. 2. praca własna studenta – 60 godz., w tym: a. analiza literatury i materiałów wykładowych związana z przygotowaniem do kolejnych wykładów: 10 godz. b. realizacja zadań projektowych: 40 godz. c. przygotowanie do egzaminu: 10 godz. Łączny nakład pracy studenta wynosi: 111 godz., co odpowiada 4 pkt. ECTS.

Liczba punktów ECTS na zajęciach wymagających bezpośredniego udziału nauczycieli akademickich:

1,84 pkt. ECTS, co odpowiada 51 godz. kontaktowym

Język prowadzenia zajęć:

polski

Liczba punktów ECTS, którą student uzyskuje w ramach zajęć o charakterze praktycznym:

1,98 pkt. ECTS, co odpowiada 55 godz. realizacji projektu i spotkań projektowych

Formy zajęć i ich wymiar w semestrze:

• Wykład30h
• Ćwiczenia0h
• Laboratorium0h
• Projekt15h
• Lekcje komputerowe0h

Wymagania wstępne:

 Biegła umiejętność programowania w języku Python.  Znajomość inżynierskiego kursu dziedziny sztuczne sieci neuronowe.

Limit liczby studentów:

30

Cel przedmiotu:

Celem przedmiotu jest zapoznanie studentów z tymi architekturami sztucznych sieci neuronowych i algorytmami ich uczenia, które wykraczają poza typowy, inżynierski kurs tej dziedziny (np. przedmiot Sztuczne Sieci Neuronowe, SSN). Są to architektury i algorytmy charakteryzujące się przede wszystkim tym, że zostały opracowane w ciągu ostatnich kilku lat i wciąż są przedmiotem intensywnych badań naukowych. Przedmiot będzie nadążał za zmianami w błyskawicznie rozwijającej się dziedzinie sztucznej sieci neuronowych. Dlatego prezentowany tu konspekt należy traktować jako punkt początkowy ewolucji tego przedmiotu. Zajęcia projektowe związane z przedmiotem mają na celu implementację poznanych metod oraz ich zastosowaniu do rozwiązywania praktycznych problemów analizy danych, maszynowej percepcji i przetwarzania języka naturalnego.

Treści kształcenia:

Wykład: 1. Wprowadzenie (2 godz.) Przegląd kierunków badań rozszerzających ugruntowane algorytmy i architektury neuronowe. Część I. Struktury zorientowane na przetwarzanie danych wizualnych 2. Architektury powstałe na bazie sieci splotowych (2 godz.) Unet i wykrywanie obiektów w obrazie. 3. Mechanizm uwagi (4 godz.) Koncepcja uwagi. Zastosowanie uwagi do wykrywania obiektów w obrazie. 4. Sieci kapsułkowe (2 godz.) CapsNet i algorytm dynamic routing. Część II. Struktury przetwarzające dane sekwencyjne 5. Dwukierunkowe sieci rekurencyjne (2 godz.) Dwukierunkowe LSTM. Dwukierunkowe GRU. 6. Mechanizm uwagi w przetwarzaniu danych sekwencyjnych (2 godz.) Dwukierunkowe sieci LSTM z uwagą. 7. Sieci przekształcaczy (2 godz) Struktura i metody uczenia sieci przekształcaczy (ang. Transformer networks). Część III. Algorytmy uczenia sieci 8. Metody adaptacyjne (2 godz.) Metody wyznaczające parametr kroku i parametr zaniku inercji dla algorytmu stochastycznego najszybszego spadku z inercją. 9. Zastosowanie ewolucji w uczeniu sieci (4 godz.) Ewolucja struktury sieci. Ewolucja wag sieci. 10. Uczenie się z ograniczoną ilością danych (6 godz.) Uczenie transferowe (transfer learning), uczenie wielozadaniowe (multi-task learning), uczenie za jednym zamachem (one-shot learning), uczenie semi- i samo-nadzorowane (semi-supervised, self-supervised learning), uczenie odporne (robust). 11. Uczenie się przekształceń (2 godz.) Architektury i metody uczenia przekształceń (ang. transform learning). Projekt: Poniższe przedstawiono reprezentatywne zadania projektowe. 1. Użyj sieci typu Unet do wykrywania specyficznych obiektów (typu rower) w obrazie. 2. Użyj sieci typu z uwagą do wykrywania specyficznych obiektów (typu rower) w obrazie. 3. Zaimplementuj sieć kapsułkową i użyj jej jako klasyfikatora obrazów. 4. Użyj sieci dwukierunkowej LSTM/GRU do klasyfikacji tekstu. 5. Użyj sieci dwukierunkowej LSTM/GRU z uwagą do klasyfikacji tekstu. 6. Użyj sieci sieci przekształcaczy do prognozowania szeregu czasowego liczby plam na Słońcu. 7. Porównaj wybrane metody aktualizujące na bieżąco hiperparametry procesu uczenia on-line na problemie uczenia się płytkiej/głębokiej sieci neuronowej typu feedforward. 8. Zastosowanie algorytmów ewolucyjnych do optymalizacji wag rekurencyjnej sieci neuronowej. 9. Porównanie podejść do ograniczania ilości danych potrzebnych do uczenia sieci neuronowej. 10. Implementacja klasyfikatora opartego na uczących się przekształceniach. W procesie kształcenia wykorzystane będą metody interaktywne, nauczanie wspomagane narzędziami cyfrowymi (digital-enhanced teaching) oraz wykorzystane będą media społecznościowe.

Metody oceny:

Realizacja przedmiotu obejmuje następujące formy zajęć:  wykład prowadzony w wymiarze 2 godz. tygodniowo,  projekt realizowany samodzielnie w zespołach,  konsultacje. Aktywizacji studentów służą:  interaktywna formuła wykładu,  dostarczane po każdym wykładzie ćwiczenia sprawdzające przyswojenie omawianych zagadnień,  wymóg konsultacji interpretacji tematu i zakresu projektu,  wymóg przedstawienia do oceny wstępnej dokumentacji projektu,  wymóg konsultacji zmian interpretacji tematu i zakresu projektu wprowadzanych po ocenie dokumentacji wstępnej. Sprawdzanie założonych efektów kształcenia realizowane jest przez:  ocenę wiedzy i umiejętności związanych z realizacją projektu – ocena ze zrealizowanych zadań;  ocenę wiedzy wykazanej na egzaminie pisemnym.

Egzamin:

tak

Literatura:

1. Ian Goodfellow, Yoshua Bengio, Aaron Courville, “Deep Learning,” WNT, 2015. 2. Geoffrey E. Hinton, 2012 Coursera course lectures: Neural Networks for Machine Learning (http://www.cs.toronto.edu/~hinton/coursera_lectures.html). 3. Wybrane publikacje (dostępne na platformie arXiv.org).

Witryna www przedmiotu:

https://usosweb.usos.pw.edu.pl/kontroler.php?_action=katalog2/przedmioty/pokazPrzedmiot&prz_kod=103A-INSZI-MSP-ZZSN

Uwagi:

(-)

Efekty uczenia się