- Nazwa przedmiotu:
- Systemy adaptacyjne i uczące się
- Koordynator przedmiotu:
- Paweł WAWRZYŃSKI
- Status przedmiotu:
- Fakultatywny ograniczonego wyboru
- Poziom kształcenia:
- Studia II stopnia
- Program:
- Informatyka
- Grupa przedmiotów:
- Przedmioty techniczne - zaawansowane
- Kod przedmiotu:
- SAU
- Semestr nominalny:
- 2 / rok ak. 2018/2019
- Liczba punktów ECTS:
- 4
- Liczba godzin pracy studenta związanych z osiągnięciem efektów uczenia się:
- 30 - wykład,
15 - realizacja zadania projektowego,
15 - samodzielne przygotowywanie się do wykładu i projektu.
- Liczba punktów ECTS na zajęciach wymagających bezpośredniego udziału nauczycieli akademickich:
- 3
- Język prowadzenia zajęć:
- polski
- Liczba punktów ECTS, którą student uzyskuje w ramach zajęć o charakterze praktycznym:
- 1
- Formy zajęć i ich wymiar w semestrze:
-
- Wykład30h
- Ćwiczenia0h
- Laboratorium0h
- Projekt15h
- Lekcje komputerowe0h
- Wymagania wstępne:
- Na poziomie kursu akademickiego dla studiów technicznych:
- Analiza matematyczna
- Probabilistyka
- Programowanie
- Limit liczby studentów:
- Cel przedmiotu:
- Celem przedmiotu jest zapoznanie uczestnika z mechanizmami adaptacji użytecznymi w systemach, które działają w nieznanym przez ich projektanta lub lub zmieniającym się środowisku. Metody analizy i konstrukcji systemów tego rodzaju wywodzą się z dwóch dziedzin wiedzy: sztucznej inteligencji (uczenie się przez wzmacnianie) oraz teorii sterowania (sterowanie adaptacyjne). Wykład omawia oba te podejścia.
- Treści kształcenia:
- Część I. Podstawy
1. Optymalizacja i aproksymacja stochastyczna; procedura Robbinsa-Monroe jako punkt wyjścia do konstruowania mechanizmów adaptacji.
2. Aproksymator neuronowy i jego uczenie on-line.
3. Elementy teorii stabilności: funkcja Lapunowa, gwarancje stabilności asymptotycznej.
Część II. Uczenie się przez wzmacnianie
4. Podstawy: Proces Decyzyjny Markowa, algorytm Q-Learning.
5. Optymalizacja stochastycznego wyboru. Parametryzowane rodziny rozkładów prawdopodobieństwa. Algorytm REINFORCE.
6. Algorytm Aktor-Krytyk.
7. Wielokrotne przetwarzanie obserwacji, optymalizacja estymatora wskaźnika jakości polityki, repróbkowanie.
Część III. Sterowanie adaptacyjne
8. Adaptacja z modelem referencyjnym (MRAS): podejście oparte na gradiencie, reguła MIT, uzasadnienie oparte na teorii stabilności, postać MRAS dla ogólnego systemu liniowego.
9. Sterowanie z jednoczesnym modelowaniem: samostrojące się regulatory (STR).
10. Sterowanie z iteracyjnym uczeniem się (ILC).
Część IV. Przegląd zastosowań i podejść nie wymienionych na wykładzie.
- Metody oceny:
- Projekt: 50%,
Egzamin: 50%
- Egzamin:
- tak
- Literatura:
- P. Cichosz, Systemy Uczące Się, WNT, 2000.
K.J. Astrom, B. Wittenmark, Adaptive Control, Addison-Wesley, 1994.
J.-J.E. Slotine, W. Li: Applied Nonlinear Control, Prentice Hall, 1991.
R. Sutton, A. Barto, Reinforcement Learning: An Introduction, MIT Press, 1998.
P. Wawrzyński, Sterowanie Adaptacyjne i Uczenie Maszynowe, preskrypt wykładu, 2012.
- Witryna www przedmiotu:
- https://usosweb.usos.pw.edu.pl/kontroler.php?_action=katalog2/przedmioty/pokazPrzedmiot&prz_kod=103B-ARxxx-MSP-SAU
- Uwagi:
Efekty uczenia się
Profil ogólnoakademicki - wiedza
- Charakterystyka SAU_W01
- Uczestnik zajęć zdobywa wiedzę o następujących zagadnieniach:
- miejsce dla uczenia się i adaptacji w oprogramowaniu i systemach sterujących,
- optymalizacja parametrów zmiennych losowych w oparciu o kolejne losowania,
- optymalizacja parametrycznych polityk decyzyjnych w Procesie Decyzyjnym Markowa,
- teoretyczne uzasadnianie poprawności algorytmów uczenia się przez wzmacnianie,
- formalizm funkcji Lapunowa jako narzędzie dowodzenia poprawności metod sterowania adaptacyjnego,
- struktura sterowników adaptacyjnych z modelem referencyjnym,
- struktura samostrojących się regulatorów,
- wprowadzenie do innych metod adaptacji, w tym aproksymowanego programowania dynamicznego, stochastycznego sterowania adaptacyjnego i sterowania z iteracyjnym uczeniem się.
Weryfikacja: egzamin, projekt
Powiązane charakterystyki kierunkowe:
K_W04
Powiązane charakterystyki obszarowe:
I.P7S_WG
Profil ogólnoakademicki - umiejętności
- Charakterystyka SAU_U01
- Uczestnik Zajęć potrafi:
- zaproponować miejsce, w którym można wprowadzić do oprogramowania element uczący się, który będzie poprawiał działanie oprogramowania w jego trakcie,
- zaimplementować algorytmy uczenia się przez wzmacnianie: Q-Learning, Aktor-Krytyk, Aktor-Krytyk z powtarzaniem doświadczenia,
- zaproponować miejsce, w którym można wprowadzić do systemu sterującego element adaptacji, dzięki któremu system ten będzie poprawiał swoje działanie w jego trakcie,
- zaimplementować mechanizm adaptacji z modelem referencyjnym w sterowniku liniowym, nieliniowym, z obserwowalnym stanem i nieobserwowalnymi zmiennymi stanu,
- zaimplementować i wykorzystać Rozszerzony Filtr Kalmana.
Weryfikacja: Realizacja zadania projektowego
Powiązane charakterystyki kierunkowe:
K_U01, K_U03, K_U04, K_U11, K_U13
Powiązane charakterystyki obszarowe:
I.P7S_UK, I.P7S_UU, I.P7S_UW, III.P7S_UW.3.o