Drukuj Eksport do pliku (MS Word)
Nazwa przedmiotu:
Głębokie sieci neuronowe w mediach cyfrowych
Koordynator przedmiotu:
Rajmund Kożuszek
Status przedmiotu:
Fakultatywny dowolnego wyboru
Poziom kształcenia:
Studia II stopnia
Program:
Informatyka
Grupa przedmiotów:
Przedmioty techniczne - podstawowe
Kod przedmiotu:
GSN
Semestr nominalny:
3 / rok ak. 2021/2022
Liczba punktów ECTS:
4
Liczba godzin pracy studenta związanych z osiągnięciem efektów uczenia się:
1. liczba godzin kontaktowych – 62 godz., w tym obecność na wykładach 30 godz., laboratoria 15 godz., spotkania projektowe 15 godz., konsultacje 2 godz. 2. praca własna studenta – 58 godz., w tym przygotowanie do zadania projektowego 4 godz., realizacja projektu 24 godz., przygotowanie do laboratoriów 15 godz., przygotowania do kolokwiów 15 godz. Łączny nakład pracy studenta wynosi 120 godz., co odpowiada 4 pkt. ECTS.
Liczba punktów ECTS na zajęciach wymagających bezpośredniego udziału nauczycieli akademickich:
2,07 pkt. ECTS, co odpowiada 62 godz. kontaktowym
Język prowadzenia zajęć:
polski
Liczba punktów ECTS, którą student uzyskuje w ramach zajęć o charakterze praktycznym:
1,93 pkt. ECTS, co odpowiada 15 godz. przygotowań do laboratoriów, 15 godz. laboratorium oraz 28 godz. przygotowania i realizacji projektu
Formy zajęć i ich wymiar w semestrze:
  • Wykład30h
  • Ćwiczenia0h
  • Laboratorium15h
  • Projekt15h
  • Lekcje komputerowe0h
Wymagania wstępne:
Osoby uczęszczające na przedmiot powinny przede wszystkim mieć wiedzę związaną z podstawami przetwarzania multimediów. Wymagana będzie również umiejętność programowania w języku Python.
Limit liczby studentów:
30
Cel przedmiotu:
Celem przedmiotu jest przekazanie niezbędnej wiedzy i wyrobienie stosownych umiejętności w zakresie projektowania i programowania modułów sztucznej inteligencji opartych na głębokich sieciach neuronowych, ze szczególnym uwzględnieniem jednostek splotowych i ich zastosowań w mediach cyfrowych.
Treści kształcenia:
Wykład: 1. Wprowadzenie (8h): podstawowe pojęcia (jednostka przetwarzania tensorowego, sieć jednostek jako model, sieci rekurencyjne i ze wzmocnieniem), symboliczne sieci neuronowe, stochastyczne metody optymalizacji sieci głębokich, równania przepływu gradientu i sieci dualne, przegląd architektur neuronowych w zagadnieniach CREAMS. 2. Elementy programowanie głębokich sieci neuronowych (2h): przetwarzanie tensorów w Pythonie, programowanie sieci głębokich w pakietach Pytorch i Keras. 3. Filtracja sygnału (4h): zmiana rozdzielczości próbkowania obrazu i dźwięku, rektyfikacja obrazu, transfer koloru i stylu w obrazie, techniki filtracji sygnału mowy. 4. Rozpoznawanie obiektów cyfrowych (4h): rozpoznawanie twarzy w obrazie, rozpoznawanie mówcy. 5. Indeksowanie obiektów cyfrowych (4h): segmentacja z adnotacją w obrazie, segmentacja z adnotacją w ścieżce dźwiękowej, podsumowanie zawartości wideo. 6. Modelowanie 3D na potrzeby interfejsu człowiek-maszyna (4h): detekcja twarzy i znaczników FP68 w obrazie twarzy, model Candide-3 (geometria, personalizacja, animacja), detekcja orientacji głowy, detekcja i śledzenie sylwetki osoby, rozpoznawanie emocji człowieka w obrazie twarzy. 7. Kompresja obrazu i dźwięku (2h): doradcze sieci generacyjne w kompresji i zanurzaniu mediów cyfrowych, splot przyczynowy w kodowaniu arytmetycznym. 8. Bezpieczeństwo w mediach cyfrowych (2h): detekcja wirusów w programach komputerowych w ich reprezentacji sygnałowej, synteza i analiza podpisu cyfrowego, zanurzanie obiektów cyfrowych (steganografia i steganofonia). Laboratoria (15h) zorganizowane są w formie pięciu bloków tematycznych po trzy godziny zajęć. Ćwiczenia i zwarte zadania laboratoryjne dotyczą analizy architektury istniejących modeli neuronowych w wybranych aplikacjach. Analiza prowadzona jest w metodologii ablacyjnej (ablation analysis). Student zapoznaje się również z technikami projektowania i programowania modułów takich aplikacji. Projekt (15h) jest definiowany w formie wymagań aplikacji i jest realizowany w grupach projektowych złożonych z 4-6 osób. Grupa projektowa wybiera realizowaną aplikację z aktualnej listy projektów lub proponuje własną aplikację do akceptacji prowadzącego zajęcia projektowe.
Metody oceny:
teoria jest zaliczana na podstawie dwóch kolokwiów
Egzamin:
nie
Literatura:
1. Władysław Skarbek: „Symbolic tensor neural networks for digital media -- from tensor processing via BNF graph rules to CREAMS applications” (w pliku syblic-net.pdf) , 2. Władysław Skarbek: „Matematyka multimediów w zadaniach” (w pliku zadania-matmu.pdf), 3. Władysław Skarbek: „Adaptive Image Recognition -- Updated Notes on: Math, Algorithms, and Programming” (w pliku air-notes-student.pdf) 4. Umberto Michelucci -- Advanced Applied Deep Learning: Convolutional Neural Networks and Object Detection, Springer APress, 2019 (książka ta jest dostępna bezpłatnie w sieci naszej Politechniki).
Witryna www przedmiotu:
https://usosweb.usos.pw.edu.pl/kontroler.php?_action=katalog2/przedmioty/pokazPrzedmiot&prz_kod=103A-INIMU-MSP-GSN
Uwagi:
(-)

Efekty uczenia się