Drukuj Eksport do pliku (MS Word)
Nazwa przedmiotu:
Wybrane zagadnienia teorii informacji
Koordynator przedmiotu:
dr Konstancja Bobecka-Wesołowska
Status przedmiotu:
Obowiązkowy
Poziom kształcenia:
Studia II stopnia
Program:
Matematyka
Grupa przedmiotów:
Wspólne
Kod przedmiotu:
Semestr nominalny:
2 / rok ak. 2011/2012
Liczba punktów ECTS:
5
Liczba godzin pracy studenta związanych z osiągnięciem efektów uczenia się:
Liczba punktów ECTS na zajęciach wymagających bezpośredniego udziału nauczycieli akademickich:
Język prowadzenia zajęć:
polski
Liczba punktów ECTS, którą student uzyskuje w ramach zajęć o charakterze praktycznym:
Formy zajęć i ich wymiar w semestrze:
  • Wykład30h
  • Ćwiczenia15h
  • Laboratorium0h
  • Projekt0h
  • Lekcje komputerowe0h
Wymagania wstępne:
Rachunek Prawdopodobieństwa I i II, Procesy stochastyczne
Limit liczby studentów:
Cel przedmiotu:
Wykład stanowi wprowadzenie do teorii informacji. Omawiane są wybrane zagadnienia tej teorii m.in. entropia zmiennej losowej o rozkładzie dyskretnym i ciągłym, intensywność entropii procesu stochastycznego, twierdzenia Shannona dotyczące optymalnego kodowania źródła wiadomości oraz kodowania kanału przesyłającego dane.
Treści kształcenia:
Entropia i informacja (entropia dyskretnej zmiennej losowej, entropia łączna, entropia  warunkowa, entropia względna, wzajemna informacja, wzór łańcuchowy dla entropii, nierówność Jensena i jej konsekwencje, krótkie łańcuchy Markowa, nierówność dla przetwarzania danych, nierówność Fano). Asymptotyczna własność równomiernego rozkładu. Intensywność entropii procesu stochastycznego (procesy stacjonarne, łańcuchy Markowa, błądzenie losowe po grafie). Kompresja danych (nierówność Krafta, kody Huffmana, kody optymalne). Kanały komunikacyjne (przepustowość kanału, twierdzenie Shannona). Entropia ciągłej zmiennej losowej (asymptotyczna własność równomiernego rozkładu dla ciągłych zmiennych losowych, związek entropii ciągłej zmiennej losowej z entropią dyskretnej zmiennej losowej, entropia łączna i warunkowa, entropia względna i wzajemna informacja). Kanał gaussowski. Rozkłady o maksymalnej entropii.
Metody oceny:
1. Zaliczenie ćwiczeń: Aktywny udział w zajęciach, w tym przygotowanie w domu i rozwiązanie przy tablicy  co najmniej 2 zadań z przygotowanych przeze mnie list z zadaniami. Jest to warunek konieczny dopuszczenia do egzaminu. 2. Egzamin : Egzamin w formie pisemnej : student otrzymuje do rozwiązania 5 zadań.
Egzamin:
Literatura:
T. Cover, J. Thomas „Elements of Information Theory” (Wiley, 1991) I. Csiszár, J. Körner  „Information Theory” (Academic Press, 1981) T. Han, K. Kobayashi „Mathematics of Information and Coding” (AMS, 2002)
Witryna www przedmiotu:
Uwagi:

Efekty uczenia się