Nazwa przedmiotu:
Systemy adaptacyjne i uczące się
Koordynator przedmiotu:
Paweł WAWRZYŃSKI
Status przedmiotu:
Fakultatywny ograniczonego wyboru
Poziom kształcenia:
Studia II stopnia
Program:
Informatyka
Grupa przedmiotów:
Przedmioty techniczne - zaawansowane
Kod przedmiotu:
SAU
Semestr nominalny:
2 / rok ak. 2015/2016
Liczba punktów ECTS:
4
Liczba godzin pracy studenta związanych z osiągnięciem efektów uczenia się:
30 - wykład, 15 - realizacja zadania projektowego, 15 - samodzielne przygotowywanie się do wykładu i projektu.
Liczba punktów ECTS na zajęciach wymagających bezpośredniego udziału nauczycieli akademickich:
3
Język prowadzenia zajęć:
polski
Liczba punktów ECTS, którą student uzyskuje w ramach zajęć o charakterze praktycznym:
1
Formy zajęć i ich wymiar w semestrze:
  • Wykład30h
  • Ćwiczenia0h
  • Laboratorium0h
  • Projekt15h
  • Lekcje komputerowe0h
Wymagania wstępne:
Na poziomie kursu akademickiego dla studiów technicznych: - Analiza matematyczna - Probabilistyka - Programowanie
Limit liczby studentów:
Cel przedmiotu:
Celem przedmiotu jest zapoznanie uczestnika z mechanizmami adaptacji użytecznymi w systemach, które działają w nieznanym przez ich projektanta lub lub zmieniającym się środowisku. Metody analizy i konstrukcji systemów tego rodzaju wywodzą się z dwóch dziedzin wiedzy: sztucznej inteligencji (uczenie się przez wzmacnianie) oraz teorii sterowania (sterowanie adaptacyjne). Wykład omawia oba te podejścia.
Treści kształcenia:
Część I. Podstawy 1. Optymalizacja i aproksymacja stochastyczna; procedura Robbinsa-Monroe jako punkt wyjścia do konstruowania mechanizmów adaptacji. 2. Aproksymator neuronowy i jego uczenie on-line. 3. Elementy teorii stabilności: funkcja Lapunowa, gwarancje stabilności asymptotycznej. Część II. Uczenie się przez wzmacnianie 4. Podstawy: Proces Decyzyjny Markowa, algorytm Q-Learning. 5. Optymalizacja stochastycznego wyboru. Parametryzowane rodziny rozkładów prawdopodobieństwa. Algorytm REINFORCE. 6. Algorytm Aktor-Krytyk. 7. Wielokrotne przetwarzanie obserwacji, optymalizacja estymatora wskaźnika jakości polityki, repróbkowanie. Część III. Sterowanie adaptacyjne 8. Adaptacja z modelem referencyjnym (MRAS): podejście oparte na gradiencie, reguła MIT, uzasadnienie oparte na teorii stabilności, postać MRAS dla ogólnego systemu liniowego. 9. Sterowanie z jednoczesnym modelowaniem: samostrojące się regulatory (STR). 10. Sterowanie z iteracyjnym uczeniem się (ILC). Część IV. Przegląd zastosowań i podejść nie wymienionych na wykładzie.
Metody oceny:
Projekt: 50%, Egzamin: 50%
Egzamin:
tak
Literatura:
P. Cichosz, Systemy Uczące Się, WNT, 2000. K.J. Astrom, B. Wittenmark, Adaptive Control, Addison-Wesley, 1994. J.-J.E. Slotine, W. Li: Applied Nonlinear Control, Prentice Hall, 1991. R. Sutton, A. Barto, Reinforcement Learning: An Introduction, MIT Press, 1998. P. Wawrzyński, Sterowanie Adaptacyjne i Uczenie Maszynowe, preskrypt wykładu, 2012.
Witryna www przedmiotu:
Uwagi:

Efekty uczenia się

Profil praktyczny - wiedza

Efekt Wpisz opis
Wpisz opis
Weryfikacja: Wpisz opis
Powiązane efekty kierunkowe:
Powiązane efekty obszarowe:

Profil praktyczny - umiejętności

Efekt Wpisz opis
Wpisz opis
Weryfikacja: Wpisz opis
Powiązane efekty kierunkowe:
Powiązane efekty obszarowe:

Profil praktyczny - kompetencje społeczne

Efekt Wpisz opis
Wpisz opis
Weryfikacja: Wpisz opis
Powiązane efekty kierunkowe:
Powiązane efekty obszarowe:

Profil ogólnoakademicki - wiedza

Efekt Wpisz opis
Uczestnik zajęć zdobywa wiedzę o następujących zagadnieniach: - miejsce dla uczenia się i adaptacji w oprogramowaniu i systemach sterujących, - optymalizacja parametrów zmiennych losowych w oparciu o kolejne losowania, - optymalizacja parametrycznych polityk decyzyjnych w Procesie Decyzyjnym Markowa, - teoretyczne uzasadnianie poprawności algorytmów uczenia się przez wzmacnianie, - formalizm funkcji Lapunowa jako narzędzie dowodzenia poprawności metod sterowania adaptacyjnego, - struktura sterowników adaptacyjnych z modelem referencyjnym, - struktura samostrojących się regulatorów, - wprowadzenie do innych metod adaptacji, w tym aproksymowanego programowania dynamicznego, stochastycznego sterowania adaptacyjnego i sterowania z iteracyjnym uczeniem się.
Weryfikacja: Wpisz opis
Powiązane efekty kierunkowe: K_W04
Powiązane efekty obszarowe: T2A_W02

Profil ogólnoakademicki - umiejętności

Efekt
Uczestnik Zajęć potrafi: - zaproponować miejsce, w którym można wprowadzić do oprogramowania element uczący się, który będzie poprawiał działanie oprogramowania w jego trakcie, - zaimplementować algorytmy uczenia się przez wzmacnianie: Q-Learning, Aktor-Krytyk, Aktor-Krytyk z powtarzaniem doświadczenia, - zaproponować miejsce, w którym można wprowadzić do systemu sterującego element adaptacji, dzięki któremu system ten będzie poprawiał swoje działanie w jego trakcie, - zaimplementować mechanizm adaptacji z modelem referencyjnym w sterowniku liniowym, nieliniowym, z obserwowalnym stanem i nieobserwowalnymi zmiennymi stanu, - zaimplementować i wykorzystać Rozszerzony Filtr Kalmana.
Weryfikacja: Realizacja zadania projektowego
Powiązane efekty kierunkowe: K_U01, K_U03, K_U04, K_U11, K_U13
Powiązane efekty obszarowe: T2A_U01, T2A_U03, T2A_U05, T2A_U16, T2A_U18

Profil ogólnoakademicki - kompetencje społeczne

Efekt Wpisz opis
Wpisz opis
Weryfikacja: Wpisz opis
Powiązane efekty kierunkowe:
Powiązane efekty obszarowe: