Drukuj Eksport do pliku (MS Word)
Nazwa przedmiotu:
Teoria informacji
Koordynator przedmiotu:
dr Konstancja Bobecka-Wesołowska
Status przedmiotu:
Obowiązkowy
Poziom kształcenia:
Studia II stopnia
Program:
Matematyka
Grupa przedmiotów:
Wspólne
Kod przedmiotu:
1120-MAMNI-NSP-0233
Semestr nominalny:
1 / rok ak. 2020/2021
Liczba punktów ECTS:
5
Liczba godzin pracy studenta związanych z osiągnięciem efektów uczenia się:
1. godziny kontaktowe – 70 h; w tym a) obecność na wykładach – 30 h b) obecność na ćwiczeniach – 30 h c) obecność na egzaminie – 5 h d) konsultacje – 5 h 2. praca własna studenta – 60 h; w tym a) przygotowanie do ćwiczeń i do kolokwiów – 35 h b) zapoznanie się z literaturą – 5 h c) przygotowanie do egzaminu – 20 h Razem 130 h, co odpowiada 5 pkt. ECTS
Liczba punktów ECTS na zajęciach wymagających bezpośredniego udziału nauczycieli akademickich:
a) obecność na wykładach – 30 h b) obecność na ćwiczeniach – 30 h c) obecność na egzaminie – 5 h d) konsultacje – 5 h Razem 70 h, co odpowiada 3 pkt. ECTS
Język prowadzenia zajęć:
polski
Liczba punktów ECTS, którą student uzyskuje w ramach zajęć o charakterze praktycznym:
-
Formy zajęć i ich wymiar w semestrze:
  • Wykład30h
  • Ćwiczenia30h
  • Laboratorium0h
  • Projekt0h
  • Lekcje komputerowe0h
Wymagania wstępne:
Rachunek Prawdopodobieństwa
Limit liczby studentów:
Bez limitu
Cel przedmiotu:
Zapoznanie studentów z podstawowymi pojęciami teorii informacji oraz ich zastosowaniami
Treści kształcenia:
1. Definicja i podstawowe własności entropii zmiennej losowej, entropii łącznej wektora losowego, entropii warunkowej, entropii względnej (odległości Kullbacka-Leiblera) oraz wzajemnej informacji. 2. Rozkłady prawdopodobieństwa o maksymalnej entropii w danej klasie rozkładów. 3. Intensywność entropii procesu stochastycznego z czasem dyskretnym. Wyznaczanie intensywności entropii procesów stacjonarnych. 4. Pojęcie zbioru typowego i asymptotyczna własność równomiernego rozkładu. Zagadnienie bezstratnej kompresji danych. 5. Pojęcie źródła informacji oraz kodu dla źródła informacji. Różne modele źródeł informacji. Przykłady konstruowania kodów dla źródła informacji. Nierówność Krafta. Kody optymalne. Kod Shannona i kod Huffmana. 6. Pojęcie kanału komunikacyjnego. Różne modele kanałów komunikacyjnych. Definicja optymalnego kodu dla kanału. 7. Pojęcie przepustowości kanału komunikacyjnego. Twierdzenie Shannona o kodowaniu dyskretnego kanału oraz łącznym kodowaniu dyskretnego źródła i kanału.
Metody oceny:
Metody oceniania: Dwa kolokwia sprawdzające. Ocena aktywności na zajęciach (rozwiązywania zadań przy tablicy i przygotowywanych referatów). Egzamin. Regulamin zaliczenia: Student może zdobyć od 0 do 50 punktów z ćwiczeń (22 pkt z kolokwium 1, 22 pkt z kolokwium 2, 6 punktów za aktywność na zajęciach) oraz od 0 do 50 punktów z egzaminu. Aby zaliczyć ćwiczenia należy uzyskać z nich co najmniej 26 punktów. Ocena końcowa z przedmiotu ustalana jest na podstawie sumy punktów zdobytych na egzaminie: 0-25 ocena 2,0 26-30 ocena 3,0 31-35 ocena 3,5 36-40 ocena 4,0 41-45 ocena 4,5 46-50 ocena 5,0 Uwagi: Student, który uzyskał z ćwiczeń więcej niż 40 punktów może zostać zwolniony z egzaminu. Ocena końcowa zależy wówczas od liczby zdobytych przez niego punktów z ćwiczeń.
Egzamin:
tak
Literatura:
1. T. Cover, J. Thomas ”Elements of Information Theory” (2nd edition), Wiley, 2006 2. I. Csiszar, J. Korner ”Information Theory”, Academic Press, 1981 3. T. Han, K. Kobayashi ”Mathematics of Information and Coding”, AMS, 2002 4. D. MacKay, “Information Theory, Inference and Learning Algorithms”, Cambridge University Press, 2003
Witryna www przedmiotu:
brak
Uwagi:
.

Efekty uczenia się

Profil ogólnoakademicki - wiedza

Charakterystyka TIN_W01
zna matematyczne podstawy teorii informacji
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2_W01
Powiązane charakterystyki obszarowe:
Charakterystyka TIN_W02
zna pojęcie oraz własności entropii zmiennej losowej, intensywności entropii procesu stochastycznego, entropii względnej (odległości Kullbacka-Leiblera) i informacji wzajemnej oraz ich zastosowania
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2MNI_W03, M2MNI_W07
Powiązane charakterystyki obszarowe:
Charakterystyka TIN_W03
zna pojęcie źródła informacji i kanału komunikacyjnego, zna różne modele źródła i kanału, wie na czym polega kodowanie źródła i kanału
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2MNI_W07
Powiązane charakterystyki obszarowe:
Charakterystyka TIN_W04
wie czym jest optymalny kod dla źródła i zna sposoby konstrukcji takich kodów, rozumie związek entropii źródła informacji z zagadnieniem bezstratnej kompresji danych, zna pojęcie przepustowości kanału komunikacyjnego, wie czym jest optymalny kod dla kanału, zna twierdzenie o optymalnym kodowaniu źródła i kanału
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2MNI_W03, M2MNI_W07
Powiązane charakterystyki obszarowe:

Profil ogólnoakademicki - umiejętności

Charakterystyka TIN_U01
umie posługiwać się podstawowymi pojęciami teorii informacji oraz je interpretować
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2MNI_U10
Powiązane charakterystyki obszarowe:
Charakterystyka TIN_U02
potrafi wyznaczyć entropię prostych rozkładów dyskretnych i absolutnie ciągłych, wyznaczyć dla tych rozkładów entropię względną oraz informację wzajemną, umie wyznaczać rozkłady prawdopodobieństwa o maksymalnej entropii w danej klasie rozkładów, umie wyznaczyć intensywność entropii stacjonarnego procesu stochastycznego z czasem dyskretnym, w tym łańcucha Markowa
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2MNI_U10
Powiązane charakterystyki obszarowe:
Charakterystyka TIN_U03
umie posługiwać się różnymi modelami źródła informacji i kanału komunikacyjnego, w zadanym modelu potrafi wyznaczyć entropię źródła oraz przepustowość kanału
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2MNI_U09
Powiązane charakterystyki obszarowe:
Charakterystyka TIN_U04
rozumie ograniczenia bezstratnej kompresji i optymalnego kodowania kanału, potrafi skonstruować optymalny kod dla źródła, umie zbadać istnienie optymalnego kodu o zadanych parametrach, umie stosować twierdzenie o optymalnym kodowaniu źródła i kanału
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2MNI_U10
Powiązane charakterystyki obszarowe:

Profil ogólnoakademicki - kompetencje społeczne

Charakterystyka TIN_K01
potrafi współdziałać i pracować w zespole, przyjmując w nim różne role
Weryfikacja: Referat
Powiązane charakterystyki kierunkowe: M2MNI_K02
Powiązane charakterystyki obszarowe:
Charakterystyka TIN_K02
rozumie potrzebę uczenia się przez całe życie, potrafi inspirować i organizować proces uczenia się innych osób
Weryfikacja: Referat
Powiązane charakterystyki kierunkowe: M2MNI_K02
Powiązane charakterystyki obszarowe: