Politechnika
Warszawska

Katalog
ECTS

Nazwa przedmiotu:

Testowanie w teleinformatyce

Koordynator przedmiotu:

Krzysztof Brzeziński

Status przedmiotu:

Obowiązkowy

Poziom kształcenia:

Studia II stopnia

Program:

Telekomunikacja

Grupa przedmiotów:

Przedmioty techniczne - zaawansowane

Kod przedmiotu:

TEWTE

Semestr nominalny:

4 / rok ak. 2015/2016

Liczba punktów ECTS:

5

Liczba godzin pracy studenta związanych z osiągnięciem efektów uczenia się:

Bilans nakładu pracy przeciętnego studenta: - udział w wykładach: 15 x 2 godz. = 30 godz. - przygotowanie do wykładów (przejrzenie notatek): 15 x 0.5 godz. = 7.5 godz. - udział w konsultacjach ogólnych (przy założeniu, że student dwukrotnie korzysta z 0.5 godz. konsultacji w semestrze): 1 godz. - przygotowanie do kolokwium: 6 godz. - udział w laboratoriach: 3 x 4 godz. = 12 godz. - przygotowanie do laboratoriów: 3 x 6 godz. = 18 godz. - udział w konsultacjach projektowych (przy założeniu, że student trzykrotnie korzysta z 1 godz. konsultacji w semestrze): 3 godz. - realizacja projektu (wszystkie elementy łącznie) = 45 godzin - przygotowanie do egzaminu: 12 godz. - konsultacje przed egzaminem: 1 godz. Łączny nakład pracy studenta wynosi zatem 135.5 godzin, co odpowiada 5 punktom ECTS.

Liczba punktów ECTS na zajęciach wymagających bezpośredniego udziału nauczycieli akademickich:

Nakład pracy studenta związany z zajęciami wymagającymi bezpośredniego udziału nauczycieli akademickich: 30 + 1 + 3 + 6 (udział nauczyciela akademickiego w laboratorium) + 1 + 4 (udział nauczyciela akademickiego w odbiorze projektu) = 45, co odpowiada ok. 2 punktom ECTS

Język prowadzenia zajęć:

polski

Liczba punktów ECTS, którą student uzyskuje w ramach zajęć o charakterze praktycznym:

Nakład pracy studenta związany z zajęciami praktycznymi: 12 + 10 (uruchamianie projektu) = 22 (co odpowiada ok. 1 punktowi ECTS)

Formy zajęć i ich wymiar w semestrze:

• Wykład0h
• Ćwiczenia0h
• Laboratorium0h
• Projekt0h
• Lekcje komputerowe0h

Wymagania wstępne:

Od studenta oczekuje się wiedzy i umiejętności z zakresu przedmiotu APPT.

Limit liczby studentów:

26

Cel przedmiotu:

1. Ukształtowanie rozumienia testowania jako przedmiotu dziedziny naukowej (“testologii"), z jej zbiorem paradygmatów, teorii, środowiskowych “szkół” (w tym - telekomunikacyjnej i informatycznej) oraz wzorców dla zastosowań praktycznych w poszczególnych dziedzinach. 2. Zapoznanie studentów ze zbiorem środków wyrazu (języków), metod, technik i narzędzi, w tym - standaryzowanych, służących do empirycznej oceny zachowania systemów teleinformatycznych. 3. Wyrobienie umiejętności przełożenia konkretnego problemu testowego na struktury i obiekty programowe systemu testowego, z elementami zaimplementowania takiego systemu i posłużenia się nim.

Treści kształcenia:

Wykłady: (2h) Wprowadzenie ogólne. Niezbędne instrumenty formalne (teoria mnogości, logika, modele). System: struktura i zachowanie. (2h) Postulowana nauka o testowaniu – "testologia". Testowanie a konstruowanie systemów: cykl życia, weryfikacja i walidacja. Pojęcie testowania - definicje. Poza-techniczne (epistemologiczne) podstawy testowania. Obiekty i role w testowaniu. (2h) Pojęcia: poprawność i niepoprawność (błąd, defekt, usterka); cele testowania; hipotezy testowe; wykonanie testu, wynik testu, werdykt; jakość zestawu testów: pokrycie (coverage), adekwatność (soundness, exhaustiveness, completeness); problem wyroczni (oracle) i testowanie metamorficzne; problem wyboru (test selection); testowanie w kontekście; rozproszenie; asynchronizm. Podstawowe klasyfikacje metod i rodzajów testowania. Istota "model-based testing". (3h) Telekomunikacyjne i informatyczne koncepcje testowania i ich ekspozycje w standardach. Testowanie w praktyce telekomunikacyjnej: standaryzacja testów i metod / środków testowania. Testowanie zgodności - standard przemysłowy ISO9646. Pragmatyczne projektowanie zestawów testów. (4h) Język TTCN-3. (2h) Struktury systemów testowych TTCN-3. Integracja systemu testowego. (2h) Aspekty formalizacji i automatyzacji. Formalizacja testowania zgodności - standard ITU-T Z.500. (3h) Relacje poprawności (równoważności, quasi-porządku): śladów (trace), obserwacyjnej, testowej, ioco (Tretmans). Testowanie z systemów przejść (LTS, IOTS). Elementy teorii: May/Must testing (de Nicola, Hennessy); tester kanoniczny. (3h) Testowanie z modeli automatowych (FSM, EFSM). Elementy teorii: generowanie preambuły, sekwencji sprawdzającej / identyfikującej stan (W, E, UIO), sekwencji powrotnej (homing). Automatyczne i wspomagane generowanie testów. (3h) Rozszerzenia: testowanie w kontekście, uwzględnianie niepewności (niewierności) obserwacji, testowanie nadążne (on-line, on-the-fly), testowanie bierne – istota, algorytmy, zastosowania. (2h) Testy innych klas w praktyce telekomunikacyjnej. Niestandardowe zastosowania mechanizmów testowania. Laboratorium: Laboratorium składa się z trzech ćwiczeń, o następującej tematyce: 1. Język TTCN-3. Napisanie, uruchomienie w środowisku TTCN-3 i przeprowadzenie testów, mających na celu wykrycie usterek w zachowaniu wskazanego systemu. Część 1 – dla odpowiednio spreparowanej implementacji szkoleniowej. 2. J.w. Część 2 – dla rzeczywistego systemu telekomunikacyjnego. 3. Testowanie i monitorowanie systemu rzeczywistego. Wykorzystując rzeczywisty system telekomunikacyjny klasy ISDN/IP oraz profesjonalne przyrządy pomiarowe, studenci wykonują polecenia prowadzącego z zakresu monitorowania i testowania zachowania systemu. Projekt: Projekt jest wykonywany, nominalnie, w grupach 3-osobowych. Polega na opracowaniu aplikacji komputerowej z merytorycznego zakresu przedmiotu. Przykładowe tematy projektów to: 1. Integracja systemu testowego TTCN-3 (w tym – zrealizowanie bloku adaptera i bloku kodera-dekodera) tak, by możliwe było faktyczne wykonanie prostych testów systemu rzeczywistego. 2. Zaprojektowanie i wykonanie automatycznego, algorytmicznego generatora testów. 3. Zaprojektowanie i wykonanie uniwersalnego testera biernego dla warunków symulowanych.

Metody oceny:

Sprawdzanie osiągnięcia założonych celów kształcenia w zakresie oceny sumatywnej jest realizowane poprzez: - sprawdzanie wiedzy i umiejętności wykazanych na kolokwium i egzaminie pisemnym o charakterze testu zamkniętego, z elementami otwartymi (możliwe zadanie problemowe); w razie wątpliwości sprawdzanie następuje w formie indywidualnego egzaminu ustnego; - sprawdzenie wiedzy, umiejętności i kompetencji społecznych wykazanych podczas ćwiczeń laboratoryjnych: runda dyskusji lub krótkie kolokwium wstępne, uzupełniająca ocena bieżąca, sprawozdanie z ćwiczenia - sprawdzenie wiedzy, umiejętności i kompetencji społecznych wykazanych przy realizacji projektu: ocena zademonstrowanego efektu i jego dokumentacji finalnej; złożona wcześniej dokumentacja wstępna jest poddawana jedynie ocenie formatywnej Sprawdzanie osiągnięcia założonych celów kształcenia w zakresie oceny formatywnej następuje poprzez interaktywne elementy wykładów, podczas bezpośrednich kontaktów ze studentem w ramach ćwiczeń i konsultacji (wykładowych i projektowych), oraz poprzez złożenie uwag prowadzącego do wstępnej dokumentacji projektowej.

Egzamin:

tak

Literatura:

1. K. M. Brzeziński, Wprowadzenie do testowania protokołów telekomunikacyjnych. IT P.W., skrypt, 2006-2010 2. D.Lee, M.Yannakakis, “Principles and Methods of Testing Finite State Machines - A Survey”, Proceedings of the IEEE, 1996, 84, 1090-1126 3. Standardy: ITU-T X.29x, ETSI EG 202 237, ETSI ES 201 873-x (TTCN-3), ISTQB “Standard Glossary of Terms Used in Software Testing”, ITU-T Z.500 4. IEEE SWEBOK chap.5 5. Zapewniane przez prowadzącego materiały pomocnicze – artykuły / rozdziały z prac na temat testowania oraz kopie prezentacji wykładowych 6. (pomocniczo) Broy, M.; Jonsson, B.; Katoen, J.; Leucker, M. & Pretschner, A. (ed.), Model-Based Testing of Reactive Systems, Springer, 2005, LNCS 3472 7. (pomocniczo) Spillner, A.; Linz, T; Schaefer, H., Software Testing Foundations, Rockynook, 2007

Witryna www przedmiotu:

https://studia.elka.pw.edu.pl/

Uwagi:

Przy realizacji laboratorium i ew. projektu (dla niektórych grup projektowych) wykorzystuje się licencjonowane środowisko testowe TTCN-3 TTWorkbench oraz bezpłatne narzędzie Loong Testing.

Efekty uczenia się

Profil ogólnoakademicki - wiedza

Efekt TWT1-W1

Zna pojęcia związane z testowaniem systemów (w szczególności – z opartym na modelu testowaniem zachowania systemów teleinformatycznych), w ramach szerszego zespołu pojęć dotyczących ich projektowania i empirycznej weryfikacji / walidacji, z uwzględnieniem różnic środowiskowych dotyczących terminologii oraz założeń i oczekiwań.
Weryfikacja: kolokwium, egzamin
Powiązane efekty kierunkowe: K_W03, K_W10
Powiązane efekty obszarowe: T2A_W02, T2A_W04

Efekt TWT1-W2

Zna klasyfikacje i charakterystyki rodzajów (klas) testów wyróżnianych w telekomunikacji i informatyce, z odniesieniem do standaryzacji
Weryfikacja: kolokwium, egzamin
Powiązane efekty kierunkowe: K_W03, K_W04, K_W14
Powiązane efekty obszarowe: T2A_W02, T2A_W03, T2A_W04, T2A_W07, T2A_W07

Profil ogólnoakademicki - umiejętności

Efekt TWT1-U1

Potrafi scharakteryzować cele, zasady, główne teorie i mechanizmy wytwarzania zestawów testów oraz dobrać kombinację tych elementów odpowiednią do zadanego problemu i stopnia pożądanej / możliwej formalizacji i automatyzacji
Weryfikacja: egzamin, projekt
Powiązane efekty kierunkowe: K_U06, K_U09, K_U15
Powiązane efekty obszarowe: T2A_U07, T2A_U09, T2A_U05, T2A_U07, T2A_U09, T2A_U15, T2A_U10

Efekt TWT1-U2

Potrafi zidentyfikować i opisać ograniczenia metod testowych (fundamentalne – w stosunku do metod opartych na manipulacji formalnej, pragmatyczne, a także wynikające z niedoskonałości elementu empirycznego) oraz wskazać praktyczne konsekwencje i sposoby minimalizacji tych ograniczeń.
Weryfikacja: egzamin, projekt
Powiązane efekty kierunkowe: K_U06, K_U08, K_U10
Powiązane efekty obszarowe: T2A_U07, T2A_U09, T2A_U12, T2A_U13, T2A_U07, T2A_U09, T2A_U15

Efekt TWT1-U3

Potrafi zinterpretować zapis testu sporządzony w języku TTCN-3, samodzielnie zapisać w tym języku prosty zestaw testów oraz pokierować integracją systemu testowego TTCN-3 (wskazując zadania do wykonania i odpowiednie źródła informacji szczegółowej bądź samodzielnie wykonując te zadania)
Weryfikacja: egzamin, laboratorium
Powiązane efekty kierunkowe: K_U09, K_U10
Powiązane efekty obszarowe: T2A_U05, T2A_U07, T2A_U09, T2A_U15, T2A_U07, T2A_U09, T2A_U15

Profil ogólnoakademicki - kompetencje społeczne

Efekt TWT1-K1

Potrafi rozwiązywać w grupie zadania projektowe
Weryfikacja: projekt, laboratorium
Powiązane efekty kierunkowe: K_K01
Powiązane efekty obszarowe: T2A_K06