Politechnika
Warszawska

Katalog
ECTS

Nazwa przedmiotu:

Podstawy teorii informacji

Koordynator przedmiotu:

Prof. dr hab. inż. Artur Przelaskowski

Status przedmiotu:

Obowiązkowy

Poziom kształcenia:

Studia I stopnia

Program:

Informatyka i Systemy Informacyjne

Grupa przedmiotów:

Wspólne

Kod przedmiotu:

1120-IN000-ISP-XXXX

Semestr nominalny:

2 / rok ak. 2022/2023

Liczba punktów ECTS:

4

Liczba godzin pracy studenta związanych z osiągnięciem efektów uczenia się:

1. godziny kontaktowe – 50 h; w tym a) obecność na wykładach – 30 h b) obecność na laboratoriach – 15 h c) konsultacje – 5 h 2. praca własna studenta – 60 h; w tym a) zapoznanie się z literaturą – 10 h b) przygotowanie do kolokwiów – 20 h c) przygotowanie do zajęć laboratoryjnych – 30 h Razem 110 h, co odpowiada 4 pkt. ECTS

Liczba punktów ECTS na zajęciach wymagających bezpośredniego udziału nauczycieli akademickich:

1. obecność na wykładach – 30 h 2. obecność na laboratoriach – 15 h 3. konsultacje – 5 h Razem 50 h, co odpowiada 2 pkt. ECTS

Język prowadzenia zajęć:

polski

Liczba punktów ECTS, którą student uzyskuje w ramach zajęć o charakterze praktycznym:

1. obecność na laboratoriach – 15 h 2. przygotowanie do zajęć laboratoryjnych – 30 h Razem 45 h, co odpowiada 2 pkt. ECTS

Formy zajęć i ich wymiar w semestrze:

• Wykład30h
• Ćwiczenia0h
• Laboratorium15h
• Projekt0h
• Lekcje komputerowe0h

Wymagania wstępne:

Analiza matematyczna 1, Algebra liniowa z geometrią 1

Limit liczby studentów:

.

Cel przedmiotu:

Celem jest przekazanie wiedzy oraz umiejętności dotyczących podstaw teorii informacji, w tym efektywnych reprezentacji sygnałów oraz sposobów modelowania źródeł, liczenia i rozumienia informacji, wykorzystanych do formowania skutecznego przekazu od strony syntaktycznej, semantycznej i pragmatycznej.

Treści kształcenia:

Wykład: Pojęcie sygnału fizycznego, jako efektu pomiaru w określonym układzie-systemie, oraz jego reprezentacji analogowej: definicja procesu pomiaru, określenie uwarunkowań fizycznych, organizacyjnych, problem celowości i przypadkowości, odbierania i nadawania/przekazu. Przykłady sygnałów, ich matematyczna reprezentacja, przestrzenie, bazy, różnicowanie cech sygnałów, miary jakości. Przegląd prostych metod analizy sygnałów analogowych, ich reprezentacji amplitudowych, częstotliwościowych, fazowych, czasowo-częstotliwościowych, skalowalnych; podstawowe filtry kształtujące. Sygnały cyfrowe, przetworniki analogowo-cyfrowe, reguły próbkowania i kwantyzacji, schematy równomierne i adaptacyjne, zasady rekonstrukcji sygnałów analogowych, kontrola jakości - przykłady zniekształceń aliasingu, efektów Gibbsa itp. sygnałów audio, obrazów. Rozumienie pojęcia informacji: intuicja i definicje potoczne, przykłady, dyskusja kluczowego znaczenia informacji w kontekście rozwoju nowoczesnych technologii, fizyki, biologii, kosmologii itd. (Wiener: informacja nie jest ani materią ani energią; Bateson: informacja jest różnicą, która robi różnicę); pojęcie informacji kwantowej. Fundamentalna definicja pojęcia informacji, cechy informacji i sposoby ich opisu; model przekazu informacji, kanału, schematu nadawca-odbiorca; problem obiektywizacji subiektywnych modeli użytkowników, kryteriów optymalizacji. Matematyczna (statystyczna) teoria informacji C.E. Shannona: modele źródeł, miary ilości informacji, podstawowe twierdzenia o kodowaniu; konsekwencje układowe i systemowe; inne syntaktyczne teorie informacji; inne teorie syntaktyczne: kombinatoryczna i algorytmiczna; entropia Gibbsa (miara nieuporządkowania w zamkniętym systemie cząstki w równowadze pod względem rozkładu prawdopodobieństwa energii). Kody jednoznacznie dekodowalne: warunki bijekcji, przykłady kodów, kody optymalne. Analityczna teoria sieci informacji Kołmogorowa, pojęcie -entropii, przykłady jej wyznaczania, praktyczne znaczenie tej teorii w konstrukcji skutecznych metod kompresji z selekcją informacji. Semantyczne i pragmatyczne teorie informacji, podkreślające znaczenie i walory poznawcze elementów przekazu informacji; przykłady: pierwsze językowe koncepcje Carnapa i Bar-Hillela (im większa jest liczba zdań, które słowo może sugerować w modelu języka, tym słowo zawiera więcej informacji semantycznej); Floridi i poznawcza, filozoficzna koncepcja informacji (znaczenie, prawda i wiedza); kompleksowy model teorii informacji (Stanford); problem prawdy w teorii informacji; modele generacji informacji semantycznej; reprezentacje i pomiary semantycznej informacji. Modelowanie systemu informacji: obiekty obserwowane (mierzone, opisane ontologią, poznawane) w określonym środowisku (specyficzne uwarunkowania) – pomiar właściwości obiektów formułujący informację – poznanie poprzez postrzeganie informacji – decydowanie w odniesieniu do wiedzy dziedzinowej – wykonanie zamiarów poprzez inteligentne działanie na obserwowane (albo analogiczne) obiekty; wykorzystanie systemu informacji do budowania wiedzy (indukcja) służącej inteligentnej realizacji określonych celów (metodą dedukcji). Realistyczne przykłady zastosowań teorii informacji: aplikacje multimedialne (przeglądanie zasobów po zawartości, interaktywne transmisje, rozpoznawanie obiektów, interpretacja ich stanu, dynamiki zachowań, trendów rozwoju), systemy informatyki medycznej (wspomaganie decyzji klinicznych, dobór formy terapii, interpretacja diagnozy), rekonstrukcje obiektów na podstawie pomiarów/reprezentacji rzadkich (problem pomiarów celowanych, losowych z modelem wiedzy oraz projekcji reprezentatywnych). Laboratorium: 1. Pomiar i reprezentacja sygnałów: rejestracja sygnałów analogowych, analiza w przestrzeniach wielkoskalowych, efekty próbkowania i kwantyzacji, filtracje i przekształcenia jakościowe sygnałów cyfrowych, analiza jakościowa; 2. Syntaktyczne modelowanie informacji: licznie entropii za pomocą modeli bez pamięci i z pamięcią, kody symboli, blokowe i strumieniowe, eksperymentalna optymalizacja kodowania na zbiorach testowych o różnych właściwościach; 3. Semantyczne modelowanie informacji: konstrukcja kodeków stratnych, definiowanie miar i kryteriów znaczeniowych, eksperymentalna weryfikacja jakości przekazu informacji, porównanie miar obliczeniowych i subiektywnych; obiektywizacja semantycznych kryteriów/modeli informacji; 4. Multimedialny przekaz informacji: ocena skuteczności systemów wyszukiwania treści, konstrukcja deskryptorów poznawczych dla sygnałów wideo, audio, pojedynczych obrazów; opracowanie informatywnych skrótów wybranych przekazów, ocena efektów poznawczych; 5. Pragmatyka przekazu informacji: wspomaganie decyzji diagnostycznych/terapeutycznych, rekonstrukcja poznawcza na podstawie klinicznych pomiarów rzadkich (realne ograniczenia czasowe, ilościowe i jakościowe, brak dużych zasobów); wykorzystanie modeli ontologicznych w formułowaniu optymalnego przekazu treści poznawczej.

Metody oceny:

Student może otrzymać do 10 pkt za aktywność (dyskusja podejmowanych problemów, rozwiązywanie zadań dodatkowych), 40 pkt za ćwiczenia laboratoryjne (5x8pkt) i 50 pkt za kolokwium końcowe. Próg zaliczenia wynosi 51 pkt, a rozkład progów kolejnych ocen to sekwencja 61, 71, 81 i 91 pkt.

Egzamin:

nie

Literatura:

1. A. Przelaskowski, Kompresja danych: podstawy, metody bezstratne, kodery obrazów, BTC, 2005. 2. J. Seidler, Nauka o informacji, t. I i II, WNT, Warszawa, 1983. 3. Marian Mazur, Jakościowa teoria informacji. WNT, Warszawa 1970, s. 223. 4. G.A. Jones, J.M. Jones, Information and Coding Theory, Springer, 2000. 5. T.M. Cover, J.A. Thomas, Elements of Information Theory, 2nd Edi-tion, Wiley & Sons, Hoboken, New Jersey, 1991. 6. D.J.C. MacKay, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003. 7. I.H. Witten, A. Moffat , T.C. Bell, Managing Gigabytes. Compressing and Indexing Documents and Images, Morgan Kaufmann Publishers, 2nd edition, 1999. 8. K. Sayood, Introduction to Data Compression, Third Edition, Mor-gan Kaufmann Publishers, 2006 (wyd. pol: Kompresja danych: wprowadzenie, READ ME, 2002). 9. M. Nelson, The Data Compression Book, 2nd edition, MIS:Press, 1995. 10. A. Neubauer, J. Freudenberger, V. Kuhn, Coding theory. Algorithms, architectures and Applications, Wiley, 2007. 11. D.J.C. MacKay, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, Cambridge, UK, 2003. 12. M. Li, P. Vitanyi, An Introduction to Kolmogorov Complexity and Its Applications. Springer, 1997. 13. L. Brillouin, Nauka a teoria informacji, PWN, Warszawa, 1969. 14. W. Sobczak, W. Malina, Metody selekcji i redukcji informacji, WNT, Warszawa, 1985.

Witryna www przedmiotu:

.

Uwagi:

.

Efekty uczenia się

Profil ogólnoakademicki - wiedza

Charakterystyka W01

Ma elementarną wiedzę w zakresie teorii informacji potrzebną do zrozumienia metod pomiaru sygnałów, ich ucyfrowienia, kształtowania przekazu informacji, jej odbioru i użytkowania we współczesnych systemach obliczeniowych, komunikacyjnych i decyzyjnych
Weryfikacja: sprawdzian pisemny
Powiązane charakterystyki kierunkowe: K_W03, K_W02
Powiązane charakterystyki obszarowe:

Profil ogólnoakademicki - umiejętności

Charakterystyka U01

Potrafi wykorzystać nabytą wiedzę fizyczną i matematyczno-informatyczną do konstrukcji i wykorzystania form reprezentacji sygnałów, źródeł informacji oraz realnych modeli użytkowych
Weryfikacja: punktowa ocena aktywności na zajęciach oraz raportu końcowego
Powiązane charakterystyki kierunkowe: K_U01, K_U02
Powiązane charakterystyki obszarowe:

Charakterystyka U02

Potrafi pozyskiwać wiedzę i informacje z literatury oraz innych źródeł, przetwarzać je, dokonywać ich interpretacji oraz wyciągać wnioski
Weryfikacja: punktowa ocena aktywności na zajęciach oraz raportu końcowego
Powiązane charakterystyki kierunkowe: K_U05
Powiązane charakterystyki obszarowe:

Charakterystyka U03

Potrafi planować i przeprowadzać eksperymenty, w tym pomiary, konsultacje i oceny subiektywne oraz symulacje komputerowe, interpretować uzyskane wyniki i wyciągać wnioski użytkowe
Weryfikacja: punktowa ocena aktywności na zajęciach oraz raportu końcowego
Powiązane charakterystyki kierunkowe: K_U08
Powiązane charakterystyki obszarowe:

Charakterystyka U04

Potrafi wykorzystać metody analityczne, symulacyjne i eksperymentalne do formułowania i rozwiązywania zadań inżynierskich
Weryfikacja: punktowa ocena aktywności na zajęciach oraz raportu końcowego
Powiązane charakterystyki kierunkowe: K_U02
Powiązane charakterystyki obszarowe:

Charakterystyka U05

Posługuje się językiem angielskim w zakresie podstawowych zagadnień informatyki oraz teorii informacji
Weryfikacja: punktowa ocena aktywności na zajęciach oraz raportu końcowego
Powiązane charakterystyki kierunkowe: K_U07
Powiązane charakterystyki obszarowe:

Profil ogólnoakademicki - kompetencje społeczne

Charakterystyka K01

Potrafi pracować indywidualnie, w tym także potrafi zarządzać swoim czasem oraz podejmować zobowiązania i dotrzymywać terminów
Weryfikacja: punktowa ocena aktywności na zajęciach oraz raportu końcowego
Powiązane charakterystyki kierunkowe: K_K05
Powiązane charakterystyki obszarowe: