Drukuj Eksport do pliku (MS Word)
Nazwa przedmiotu:
Teoria informacji
Koordynator przedmiotu:
dr Konstancja Bobecka-Wesołowska
Status przedmiotu:
Obowiązkowy
Poziom kształcenia:
Studia II stopnia
Program:
Matematyka
Grupa przedmiotów:
Wspólne
Kod przedmiotu:
1120-MAMNI-NSP-0033
Semestr nominalny:
1 / rok ak. 2016/2017
Liczba punktów ECTS:
6
Liczba godzin pracy studenta związanych z osiągnięciem efektów uczenia się:
180 godzin poświęconych na: przyswojenie wiedzy teoretycznej (60 godzin) oraz na rozwijanie umiejętności praktycznych, poprzez rozwiązywanie zadań i przygotowywanie referatów (120 godzin).
Liczba punktów ECTS na zajęciach wymagających bezpośredniego udziału nauczycieli akademickich:
4
Język prowadzenia zajęć:
polski
Liczba punktów ECTS, którą student uzyskuje w ramach zajęć o charakterze praktycznym:
2
Formy zajęć i ich wymiar w semestrze:
  • Wykład30h
  • Ćwiczenia15h
  • Laboratorium0h
  • Projekt0h
  • Lekcje komputerowe0h
Wymagania wstępne:
Rachunek Prawdopodobieństwa I i II
Limit liczby studentów:
Bez limitu
Cel przedmiotu:
Zapoznanie studentów z podstawowymi pojęciami teorii informacji oraz ich zastosowaniami
Treści kształcenia:
1. Definicja i podstawowe własności entropii zmiennej losowej, entropii łącznej wektora losowego, entropii warunkowej, entropii względnej (odległości Kullbacka-Leiblera) oraz wzajemnej informacji. 2. Rozkłady prawdopodobieństwa o maksymalnej entropii w danej klasie rozkładów. 3. Intensywność entropii procesu stochastycznego z czasem dyskretnym. Wyznaczanie intensywności entropii procesów stacjonarnych. 4. Pojęcie zbioru typowego i asymptotyczna własność równomiernego rozkładu. Zagadnienie bezstratnej kompresji danych. 5. Pojęcie źródła informacji oraz kodu dla źródła informacji. Różne modele źródeł informacji. Przykłady konstruowania kodów dla źródła informacji. Nierówność Krafta. Kody optymalne. Kod Shannona i kod Huffmana. 6. Pojęcie kanału komunikacyjnego. Różne modele kanałów komunikacyjnych. Definicja optymalnego kodu dla kanału. 7. Pojęcie przepustowości kanału komunikacyjnego. Twierdzenie Shannona o kodowaniu dyskretnego kanału oraz łącznym kodowaniu dyskretnego źródła i kanału.
Metody oceny:
Metody oceniania: Dwa kolokwia sprawdzające. Ocena aktywności na zajęciach (rozwiązywania zadań przy tablicy i przygotowywanych referatów). Egzamin. Regulamin zaliczenia: Student może zdobyć od 0 do 50 punktów z ćwiczeń (22 pkt z kolokwium 1, 22 pkt z kolokwium 2, 6 punktów za aktywność na zajęciach) oraz od 0 do 50 punktów z egzaminu. Aby zaliczyć ćwiczenia należy uzyskać z nich co najmniej 26 punktów. Ocena końcowa z przedmiotu ustalana jest na podstawie sumy punktów zdobytych na egzaminie: 0-25 ocena 2,0 26-30 ocena 3,0 31-35 ocena 3,5 36-40 ocena 4,0 41-45 ocena 4,5 46-50 ocena 5,0 Uwagi: Student, który uzyskał z ćwiczeń więcej niż 40 punktów może zostać zwolniony z egzaminu. Ocena końcowa zależy wówczas od liczby zdobytych przez niego punktów z ćwiczeń.
Egzamin:
tak
Literatura:
1. T. Cover, J. Thomas ”Elements of Information Theory” (2nd edition), Wiley, 2006 2. I. Csiszar, J. Korner ”Information Theory”, Academic Press, 1981 3. T. Han, K. Kobayashi ”Mathematics of Information and Coding”, AMS, 2002 4. D. MacKay, “Information Theory, Inference and Learning Algorithms”, Cambridge University Press, 2003
Witryna www przedmiotu:
brak
Uwagi:

Efekty uczenia się

Profil ogólnoakademicki - wiedza

Efekt TIN_W01
zna matematyczne podstawy teorii informacji
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane efekty kierunkowe: MNI_W10
Powiązane efekty obszarowe: X2A_W01, X2A_W03, X2A_W04, X2A_W05
Efekt TIN_W02
zna pojęcie oraz własności entropii zmiennej losowej, intensywności entropii procesu stochastycznego, entropii względnej (odległości Kullbacka-Leiblera) i informacji wzajemnej oraz ich zastosowania
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane efekty kierunkowe: MNI_W10, MNI_W11
Powiązane efekty obszarowe: X2A_W01, X2A_W03, X2A_W04, X2A_W05, X2A_W01
Efekt TIN_W03
zna pojęcie źródła informacji i kanału komunikacyjnego, zna różne modele źródła i kanału, wie na czym polega kodowanie źródła i kanału
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane efekty kierunkowe: MNI_W11
Powiązane efekty obszarowe: X2A_W01
Efekt TIN_W04
wie czym jest optymalny kod dla źródła i zna sposoby konstrukcji takich kodów, rozumie związek entropii źródła informacji z zagadnieniem bezstratnej kompresji danych, zna pojęcie przepustowości kanału komunikacyjnego, wie czym jest optymalny kod dla kanału, zna twierdzenie o optymalnym kodowaniu źródła i kanału
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane efekty kierunkowe: MNI_W05, MNI_W10, MNI_W11
Powiązane efekty obszarowe: X2A_W01, X2A_W02, X2A_W03, X2A_W04, X2A_W01, X2A_W03, X2A_W04, X2A_W05, X2A_W01

Profil ogólnoakademicki - umiejętności

Efekt TIN_U01
umie posługiwać się podstawowymi pojęciami teorii informacji oraz je interpretować
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane efekty kierunkowe: MNI_U14
Powiązane efekty obszarowe: X2A_U04
Efekt TIN_U02
potrafi wyznaczyć entropię prostych rozkładów dyskretnych i absolutnie ciągłych, wyznaczyć dla tych rozkładów entropię względną oraz informację wzajemną, umie wyznaczać rozkłady prawdopodobieństwa o maksymalnej entropii w danej klasie rozkładów, umie wyznaczyć intensywność entropii stacjonarnego procesu stochastycznego z czasem dyskretnym, w tym łańcucha Markowa
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane efekty kierunkowe: MNI_U01, MNI_U14, MNI_U15
Powiązane efekty obszarowe: X2A_U08, X2A_U09, X2A_U06, X2A_U04, X2A_U04
Efekt TIN_U03
umie posługiwać się różnymi modelami źródła informacji i kanału komunikacyjnego, w zadanym modelu potrafi wyznaczyć entropię źródła oraz przepustowość kanału
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane efekty kierunkowe: MNI_U13, MNI_U14, MNI_U15
Powiązane efekty obszarowe: X2A_U04, X2A_U04, X2A_U04
Efekt TIN_U04
rozumie ograniczenia bezstratnej kompresji i optymalnego kodowania kanału, potrafi skonstruować optymalny kod dla źródła, umie zbadać istnienie optymalnego kodu o zadanych parametrach, umie stosować twierdzenie o optymalnym kodowaniu źródła i kanału
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane efekty kierunkowe: MNI_U07, MNI_U14, MNI_U15
Powiązane efekty obszarowe: X2A_U04, X2A_U04, X2A_U04

Profil ogólnoakademicki - kompetencje społeczne

Efekt TIN_K01
potrafi współdziałać i pracować w zespole, przyjmując w nim różne role
Weryfikacja: Referat
Powiązane efekty kierunkowe: MNI_K01
Powiązane efekty obszarowe: X2A_K02
Efekt TIN_K02
umie negocjować i dochodzić do kompromisu w kwestiach związanych z prowadzeniem projektu;
Weryfikacja: Referat
Powiązane efekty kierunkowe: MNI_K02
Powiązane efekty obszarowe: X2A_K03, X2A_K04, X2A_K06, X2A_K07
Efekt TIN_K03
rozumie potrzebę uczenia się przez całe życie, potrafi inspirować i organizować proces uczenia się innych osób;
Weryfikacja: Referat, Kolokwium, Egzamin
Powiązane efekty kierunkowe: MNI_K03
Powiązane efekty obszarowe: X2A_K01, X2A_K05