Drukuj Eksport do pliku (MS Word)
Nazwa przedmiotu:
Percepcja maszyn
Koordynator przedmiotu:
Rajmund Kożuszek
Status przedmiotu:
Fakultatywny ograniczonego wyboru
Poziom kształcenia:
Studia I stopnia
Program:
Informatyka
Grupa przedmiotów:
Sztuczna inteligencja
Kod przedmiotu:
PERM
Semestr nominalny:
6 / rok ak. 2021/2022
Liczba punktów ECTS:
4
Liczba godzin pracy studenta związanych z osiągnięciem efektów uczenia się:
1. liczba godzin kontaktowych – 65 godz., w tym  obecność na wykładach: 30 godz.,  obecność na zajęciach laboratoryjnych:30 godz.,  udział w konsultacjach związanych z problematyką poruszaną na wykładzie/laboratorium: 5 godz., 2. praca własna studenta – 41 godz., w tym  przygotowanie raportów z zajęć laboratoryjnych: 15 godz.,  udział w dyskusji w trakcie wykładu: 1 godz.,  analiza literatury i materiałów wykładowych związana z przygotowaniem do kolejnych wykładów, zajęć laboratoryjnych, instalacja oprogramowania: 15 godz.,  przygotowanie do kolokwiów: 10 godz. Łączny nakład pracy studenta wynosi 106 godz., co odpowiada 4 pkt. ECTS.
Liczba punktów ECTS na zajęciach wymagających bezpośredniego udziału nauczycieli akademickich:
2.5 pkt. ECTS, co odpowiada 65 godz. kontaktowym
Język prowadzenia zajęć:
polski
Liczba punktów ECTS, którą student uzyskuje w ramach zajęć o charakterze praktycznym:
1,75 pkt. ECTS, co odpowiada 45 godz. zajęć laboratoryjnych i przygotowaniu do tych zajęć oraz przygotowaniu raportu
Formy zajęć i ich wymiar w semestrze:
  • Wykład30h
  • Ćwiczenia0h
  • Laboratorium30h
  • Projekt0h
  • Lekcje komputerowe0h
Wymagania wstępne:
Wprowadzenie do sztucznej inteligencji, Wstęp do multimediów
Limit liczby studentów:
60
Cel przedmiotu:
Celem przedmiotu jest zapoznanie z podstawowymi metodami komputerowego przetwarzania sygnałów i obrazów, pochodzących z czujników stosowanych w inteligentnych urządzeniach (smart devices), automatyce i robotyce. Zagadnienia omawiane w trakcie zajęć obejmują także projektowanie algorytmów analizy sygnałów, w szczególności sygnałów audio, mowy, obrazów RGB / RGB-D i sekwencji obrazów, z wykorzystaniem metod i technik sztucznej inteligencji - uczenia maszynowego i klasyfikacji wzorców.
Treści kształcenia:
WYKŁADY: 1. Reprezentacja cyfrowego sygnału i obrazu (2h). 2. Przetwarzanie sygnałów (filtry FIR i IIR, transformaty przestrzeni, transformaty adaptacyjne) (2h) 3. Lokalizacja i separacja dźwięków otoczenia (2h) 4.-5. Sygnał mowy – detekcja mowy w sygnale akustycznym, segmentacja, cechy w dziedzinie czasu, częstotliwości i cepstrum (4h) 6. Klasyfikacja mowy (2h) 7. Model kamery i kalibracja kamery wizyjnej (2h) 8.-9. Segmentacja konturowa i obszarowa obrazu – krawędzie, kontury, deskryptory punktowe, cechy tekstury (4h) 10. Klasyfikacja kształtu obiektu (2h) 10.-11. Metody pozyskiwania obrazu 3D (chmura punktów 3D lub obraz RGB-D) (stereo-wizja – kalibracja, problem korespondencji, światło strukturalne) (4h) 12. Analiza obrazu 3D (tworzenie mapy otoczenia, segmentacja, modelowanie powierzchniami, rozpoznawanie obiektów 3D) 13. Zastosowanie sieci głębokich do rozpoznawania obiektów (CNN, R-CNN) (2h) 14.-15. Analiza sekwencji obrazów w czasie (estymacja mapy ruchu, rekonstrukcja sceny na podstawie ruchu, śledzenie ruchomych obiektów) (4h) LABORATORIUM: 1. Analiza sygnału audio – filtracja, transformaty, wyznaczanie cech, klasyfikacja dźwięków (3h) 2. Lokalizacja i separacja dźwięków otoczenia – jednoczesna akwizycja i analiza dźwięku z kilku mikrofonów, lokalizacja źródła dźwięku, separacja „rzadkich” źródeł) (3h) 3. Analiza sygnału mowy – detekcja mowy, ekstrakcja cech, klasyfikacja prostych komend (3h) 4. Kalibracja kamery wizyjnej i pary kamer stereo – wyznaczanie parametrów kamer, określanie pozycji obiektów w przestrzeni w układzie kamery (mono i stereo) (3h) 5. – 6. Analiza obrazu RGB - przetwarzanie wstępne i segmentacja obrazu, detekcja i klasyfikacja kształtu (6h) 7. Mapa otoczenia 3D - obraz 3D, punkty charakterystyczne 3D, pasowanie chmur punktów 3D, tworzenie mapy 3D (3h) 8. Analiza obrazu RGB-D – segmentacja, modelowanie i rozpoznawanie obiektów w obrazie 3D (3h) 9. Sieci głębokie w rozpoznawaniu obiektów – zastosowanie dedykowanego narzędzia (np. Keras) do konfigurowania warstw sieci głębokiej, trenowania sieci i rozpoznawania obiektów (3h) 10.Analiza sekwencji obrazów - detekcja ruchu, rekonstrukcja sceny, śledzenie obiektu (3h) Laboratoria odbywają się w blokach po 3 h.
Metody oceny:
Realizacja przedmiotu obejmuje następujące formy zajęć:  wykład prowadzony w wymiarze 2 godz. tygodniowo;  zajęcia laboratoryjne; w ramach tych zajęć student, korzystając z oprogramowania i sprzętu będzie – pod opieka prowadzącego zajęcia – realizował wskazane zadania związane tematycznie z treścią wykładu; Sprawdzanie założonych efektów kształcenia realizowane jest przez:  ocenę wiedzy i umiejętności związanych z realizacją zadań laboratoryjnych – ocenę sprawozdań z realizacji zadań;  ocenę wiedzy i umiejętności wykazanych na kolokwiach o charakterze problemowym;
Egzamin:
nie
Literatura:
1. W. Kasprzak. Rozpoznawanie obrazów i sygnałów mowy, Oficyna wydawnicza PW, Warszawa, 2009. 2. R. Gonzalez, R. Woods, Digital Image Processing, Pearson, 2018 3. J. Benesty, M. Mohan Sondhi, Y. Arden Huang: Springer Handbook of Speech Processing. Springer, 2008. 4. W. Malina, M. Smiatacz. Metody cyfrowego przetwarzania obrazów. Akademicka Oficyna Wydawnicza EXIT, Warszawa 2005. 5. I. Goodfellow, Y. Bengio, A. Courville, Deep learning, MIT Press, 2016 6. R. Szeliski, Computer Vision: Algorithms and Applications, Springer, 2011
Witryna www przedmiotu:
https://usosweb.usos.pw.edu.pl/kontroler.php?_action=katalog2/przedmioty/pokazPrzedmiot&prz_kod=103B-INSZI-ISP-PERM
Uwagi:
(-)

Efekty uczenia się

Profil ogólnoakademicki - wiedza

Charakterystyka W01
zna podstawowe zagadnienia związane z analizą obrazów i dźwięków
Weryfikacja: kolokwium, laboratorium
Powiązane charakterystyki kierunkowe: W01, W12
Powiązane charakterystyki obszarowe: P6U_W, I.P6S_WG.o
Charakterystyka W02
zna podstawowe zasady tworzenia systemów rozpoznawania obiektów opartych o sieci neuronowe
Weryfikacja: kolokwium, laboratorium
Powiązane charakterystyki kierunkowe: W01, W06, W12
Powiązane charakterystyki obszarowe: P6U_W, I.P6S_WG.o
Charakterystyka W03
zna podstawowe zasady doboru czujników i oceny ich ograniczeń w docelowej aplikacji
Weryfikacja: laboratorium
Powiązane charakterystyki kierunkowe: W02, W03
Powiązane charakterystyki obszarowe: P6U_W, I.P6S_WG.o, III.P7S_WG

Profil ogólnoakademicki - umiejętności

Charakterystyka U01
potrafi dobrać, uruchomić i skalibrować czujniki odpowiednie do zadania
Weryfikacja: laboratorium
Powiązane charakterystyki kierunkowe: U01, U07
Powiązane charakterystyki obszarowe: P6U_U, I.P6S_UW.o, III.P6S_UW.o
Charakterystyka U02
potrafi zaprojektować i uruchomić prosty system rozpoznawania obiektów w obrazach
Weryfikacja: laboratorium
Powiązane charakterystyki kierunkowe: U01, U07
Powiązane charakterystyki obszarowe: P6U_U, I.P6S_UW.o, III.P6S_UW.o
Charakterystyka U03
potrafi krytycznie ocenić oraz dopasować do zadania istniejące rozwiązania oparte o sieci neuronowe
Weryfikacja: laboratorium
Powiązane charakterystyki kierunkowe: U02, U04
Powiązane charakterystyki obszarowe: I.P6S_UW.o, III.P6S_UW.o, P6U_U
Charakterystyka U04
potrafi zaplanować i przeprowadzić eksperyment, przedstawić wyniki z badań i pomiarów w formie czytelnego sprawozdania
Weryfikacja: laboratorium
Powiązane charakterystyki kierunkowe: U03, U09, U10
Powiązane charakterystyki obszarowe: P6U_U, I.P6S_UW.o, III.P6S_UW.o, I.P6S_UK
Charakterystyka U05
potrafi pracować indywidualnie oraz w zespole
Weryfikacja: laboratorium
Powiązane charakterystyki kierunkowe: U08
Powiązane charakterystyki obszarowe: P6U_U, I.P6S_UO
Charakterystyka U06
ma umiejętność samokształcenia się
Weryfikacja: laboratorium
Powiązane charakterystyki kierunkowe: U12
Powiązane charakterystyki obszarowe: P6U_U, I.P6S_UU

Profil ogólnoakademicki - kompetencje społeczne

Charakterystyka K01
ma świadomość konieczności komunikowania się z otoczeniem, także pozazawodowym, w sposób zrozumiały dla odbiorcy
Weryfikacja: wykład, laboratorium
Powiązane charakterystyki kierunkowe: K05
Powiązane charakterystyki obszarowe: P6U_K, I.P6S_KO
Charakterystyka K02
jest świadomy procesu uczenia się w kierunku zwiększania kompetencji w tym obszarze
Weryfikacja: laboratorium
Powiązane charakterystyki kierunkowe: K01
Powiązane charakterystyki obszarowe: P6U_K, I.P6S_KK