Drukuj Eksport do pliku (MS Word)
Nazwa przedmiotu:
Metody głębokiego uczenia
Koordynator przedmiotu:
Prof. dr hab. inż. Jacek Mańdziuk
Status przedmiotu:
Obowiązkowy
Poziom kształcenia:
Studia II stopnia
Program:
Inżynieria i Analiza Danych
Grupa przedmiotów:
Wspólne
Kod przedmiotu:
1120-DS000-MSP-0111
Semestr nominalny:
2 / rok ak. 2019/2020
Liczba punktów ECTS:
5
Liczba godzin pracy studenta związanych z osiągnięciem efektów uczenia się:
1. godziny kontaktowe – 65 h; w tym a) obecność na wykładach – 15 h b) obecność na zajęciach projektowych – 45 h c) konsultacje – 5 h 2. praca własna studenta – 60 h; w tym a) zapoznanie się z literaturą – 10 h b) przygotowanie projektów – 40 h c) przygotowanie raportów/prezentacji 3 projektów – 10 h Razem 125 h, co odpowiada 5 pkt. ECTS
Liczba punktów ECTS na zajęciach wymagających bezpośredniego udziału nauczycieli akademickich:
a) obecność na wykładach – 15 h b) obecność na zajęciach projektowych – 45 h c) konsultacje – 5 h Razem 65 h, co odpowiada 3 pkt. ECTS
Język prowadzenia zajęć:
polski
Liczba punktów ECTS, którą student uzyskuje w ramach zajęć o charakterze praktycznym:
a) obecność na zajęciach projektowych – 45 h b) przygotowanie projektów – 40 h c) przygotowanie raportów/prezentacji 3 projektów – 10 h Razem 95 h, co odpowiada 4 pkt. ECTS
Formy zajęć i ich wymiar w semestrze:
  • Wykład15h
  • Ćwiczenia0h
  • Laboratorium0h
  • Projekt45h
  • Lekcje komputerowe0h
Wymagania wstępne:
Podstawowa wiedza z zakresu sztucznych sieci neuronowych oraz uczenia maszynowego. Umiejętność programowania w języku Python.
Limit liczby studentów:
30 osób - 2 grupy projektowe po maksymalnie 15 osób
Cel przedmiotu:
Celem przedmiotu jest zapoznanie studentów z podstawowymi technikami uczenia głębokiego. Szczególny nacisk położony będzie na nabycie praktycznych umiejętności budowania złożonych struktur neuronowych oraz ich uczenia w oparciu o różne realizacje paradygmatu głębokiego uczenia.
Treści kształcenia:
Wykład: 1. Przypomnienie wybranych podstaw sieci neuronowych związanych z paradygmatem głębokiego uczenia: perceptron wielowarstwowy, sieć kontra-propagacji, Neocognitron; sieci neuronowe jako uniwersalne aproksymatory 2. Uczenie gradientowe sieci neuronowych (reguła propagacji wstecznej, przeuczenie, regularyzacja, funkcje przejścia i ich własności (sigmoida, tangens hiperboliczny, softmax) 3. Strategie głębokiego uczenia (postać funkcji błędu, dobór wielkości zbiorów próbek – mini-batch, znikający gradient – pre-training, post-tuning, jednostki ReLU, regularyzacja - multi-task learning, dropout) 4. Uczenie głębokie nienadzorowane (autoenkodery, redukcja wymiarowości, uczenie się reprezentacji, transfer learning) 5. Sieci konwolucyjne (szablony wag, wagi współdzielone, inwariancja przesunięcia) i ich zastosowania do analizy i przetwarzania obrazów 6. Sieci rekurencyjne (Deep RNNs), sieci z pamięcią (LSTM) – własności, przykłady zastosowań; metoda Backpropagation Through Time 7. Modele generatywne (Maszyna Boltzmanna, Ograniczona Maszyna Boltzmanna, Głęboka sieć przekonań, Głęboka Maszyna Boltzmanna) 8. Elementy uczenia ze wzmocnieniem i uczenia głębokiego ze wzmocnieniem (Deep Reinforcement Learning) Projekt: Implementacja własna lub w oparciu o ogólnodostępne dedykowane środowiska programistyczne wybranych modeli sieci głębokich, analiza ich własności, testowanie wpływu określonych decyzji odnośnie struktury i parametryzacji rozwiązania na jakość otrzymanych wyników. Testy realizowane będą między innymi w oparciu o problemy z Kaggle.
Metody oceny:
Ocena w oparciu o wyniki projektu. Punktacja standardowa (91-100 ocena 5.0, 81-90 ocena 4.5, …, 51-60 ocena 3.0)
Egzamin:
tak
Literatura:
1. Li Deng and Dong Yu, "Deep Learning: Methods and Applications", Foundations and Trends® in Signal Processing: Vol. 7: No. 3–4, pp 197-387, 2014. 2. Y. Bengio, I. A. N. Goodfellow, AN. Courville, Deep Learning, MIT Press, 2016. 3. Hands-On Learning with Scikit-Learn and Tensorflow, O'Reilly.
Witryna www przedmiotu:
.
Uwagi:
program 4 semestralny - 2 semestr program 3 semestralny - 1 semestr

Efekty uczenia się

Profil ogólnoakademicki - wiedza

Charakterystyka W01
Posiada wiedzę dotyczącą różnych modeli głębokich sieci neuronowych oraz algorytmów głębokiego uczenia
Weryfikacja: Ocena cząstkowa (etap analizy) każdego z realizowanych projektów
Powiązane charakterystyki kierunkowe: DS2_W04, DS2_W07
Powiązane charakterystyki obszarowe: I.P7S_WG, I.P7S_WK
Charakterystyka W02
Posiada praktyczną wiedzę dotyczącą specyfiki zastosowań konkretnych architektur głębokich do rozwiązywania określonych rodzajów zadań
Weryfikacja: Ocena cząstkowa (etap analizy) każdego z realizowanych projektów
Powiązane charakterystyki kierunkowe: DS2_W08
Powiązane charakterystyki obszarowe: I.P7S_WG

Profil ogólnoakademicki - umiejętności

Charakterystyka U01
Potrafi zaprojektować oraz zaimplementować wybrane modele głębokich sieci neuronowych
Weryfikacja: Ocena zrealizowanych projektów
Powiązane charakterystyki kierunkowe: DS2_U05
Powiązane charakterystyki obszarowe: I.P7S_UW
Charakterystyka U02
Potrafi dobrać model architektury głębokiej właściwy dla rodzaju rozwiązywanego problemu oraz dokonać analizy silnych i słabych stron zaproponowanego rozwiązania
Weryfikacja: Ocena zrealizowanych projektów
Powiązane charakterystyki kierunkowe: DS2_U06
Powiązane charakterystyki obszarowe: I.P7S_UW

Profil ogólnoakademicki - kompetencje społeczne

Charakterystyka K01
Potrafi pracować indywidualnie i w zespole, oraz kierować niedużym zespołem
Weryfikacja: Ocena przebiegu realizacji projektu (terminowość, kompetencje, właściwy podział zadań w zespole)
Powiązane charakterystyki kierunkowe: DS2_K04
Powiązane charakterystyki obszarowe: I.P7S_KR
Charakterystyka K02
Ma świadomość odpowiedzialności za wspólnie realizowane zadania w ramach pracy zespołowej
Weryfikacja: Ocena przebiegu realizacji projektu (terminowość, kompetencje, właściwy podział zadań w zespole)
Powiązane charakterystyki kierunkowe: DS2_K04
Powiązane charakterystyki obszarowe: I.P7S_KR