bakalářská práce

Rozšíření nástroje tmt umožňující reportování pomocí API nástroje ReportPortal

Text práce 1.54 MB Příloha 19.25 MB

Autor práce: Bc. Natália Bubáková

Ak. rok: 2023/2024

Vedoucí: Ing. Aleš Smrčka, Ph.D.

Oponent: Ing. Jiří Pavela

Abstrakt:

Táto bakalárska práca nahliada na testovacie procesy využívané Red Hat tímami v praxi a zároveň opisuje novú testovaciu infraštruktúru navrhnutú pre účel zlepšenia testovacích praktík v spoločnosti. Infraštruktúra predstavuje hlavnú motiváciou pre zadanie tejto práce, ktorá sa sústredí na niekoľko scenárov tvorby reportov s výsledkami testov, ktoré sú realizované práve prepojením nástroju na správu testov známeho ako tmt a ReportPortalu, teda rozhrania pre zobrazenie výsledkov. Práca skúma oba tieto nástroje a prezentuje implementáciu v podobe tmt rozšírenia plynule prepojeného s ReportPortalom cez jeho REST API rozhranie, čím vylučuje alternatívne prístupy. Práca sa komplexne zaoberá všetkými etapamy projektu, ktorý je realizovaný v spolupráci s komunitou a detailne skúma aspekty návrhu, implementácie a testovania všetkých požadovaných funkcií rozšírenia, ktoré aktívne komplimentuje open-source tmt projekt.

Klíčová slova:

Test Management Tool, tmt, fmf, Report Portal, reportovanie testov, testovanie programu, správa výsledkov testov, plán testovania, spustenie testu, prípad testovania

Termín obhajoby

11.06.2024

Výsledek obhajoby

obhájeno (práce byla úspěšně obhájena)

znamkaBznamka

Klasifikace

B

Průběh obhajoby

Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm B.

Otázky k obhajobě

  1. V závěru práce diskutujete míru splnění jednotlivých funkcionálních požadavků definovaných v kapitole 3. Mohla byste se stručně vyjádřit i k míře splnění nefuncionálních požadavků NR1 až NR6?
  2. Implementované rozšíření nástroje tmt přidává netriviální množství nových přepínačů, přičemž spousta jejich kombinací je nevalidních nebo nesmyslných (vizte tabulku 4.1). Nezvažovala jste implementaci pokročilejší hierarchie příkazů, přepínačů a jejich skupin (např. pomocí knihovny Click), což by mohlo lépe strukturovat rozhraní nástroje tmt?

Jazyk práce

angličtina

Fakulta

Fakulta informačních technologií

Ústav

Ústav inteligentních systémů

Studijní program

Informační technologie (BIT)

Složení komise

doc. RNDr. Pavel Smrž, Ph.D. (předseda)
Ing. Aleš Smrčka, Ph.D. (člen)
Ing. Zbyněk Křivka, Ph.D. (člen)
Ing. Jaroslav Rozman, Ph.D. (člen)
doc. Ing. Jan Kořenek, Ph.D. (člen)

Posudek vedoucího
Ing. Aleš Smrčka, Ph.D.

Studentka splnila zadání. Informovala mě o aktuálním stavu i pokroku a všechny důležité části konzultovala s předstihem. Technický vedoucí z firmy Red hat hodnotí výsledek pozitivně s tím, že nový plugin se nyní používá ve zkušebním provozu. Očekávají další rozšíření, ale základní funkcionalita byla položena podle očekávání a v dobré kvalitě.

Kritérium hodnocení Slovní hodnocení
Informace k zadání

Zadání projektu bylo vypsáno ve spolupráci s firmou Red hat. Pro splnění cílů práce bylo třeba nastudovat a integrovat dvě oddělené technologie a uvést je do stavu použitelném v aktivním vývojovém (testerském) prostředí. Cíl práce byl splněn.
Práce s literaturou

Studentka si studijní prameny vybírala sama.
Aktivita během řešení, konzultace, komunikace

Studentka konzultovala a postupovala nepravidelně, avšak zodpovědně k požadovanému výsledku.
Aktivita při dokončování

Aktivita byla koncentrována vždy k nějakému termínu (průběžné obhajoby, dohodnutému milníku nebo odevzdání projektu). Programovou část i technickou zprávu však konzultovala v dostatečném předstihu.
Publikační činnost, ocenění
Výsledný počet bodů navržený vedoucím: 89

Známka navržená vedoucím: B

Posudek oponenta
Ing. Jiří Pavela

Jedná se o kvalitně zpracovanou práci, jejíž nejsilnější stránkou je realizační výstup s očekávaným nasazením v praxi. Studentka v průběhu práce zvládla zohlednit a zapracovat postupně se měnící požadavky potenciálních uživatelů nástroje. Práce obsahuje několik rozšíření nad rámec zadání, ať už na úrovni analýzy nebo samotné implementace. Celkový dojem z práce však trochu kazí slabší typografická, a místy pak i jazyková, úroveň technické zprávy. S přihlédnutím ke všem silným a slabým stránkám práce tak navrhuji hodnocení stupněm B.

Kritérium hodnocení Slovní hodnocení Body
Náročnost zadání

Stupeň hodnocení: průměrně obtížné zadání
Prezentační úroveň technické zprávy

Práce je logicky dobře strukturována a kapitoly na sebe vhodně navazují. Vzhledem k rozsahu textu a popisu realizačního výstupu se však čtenář občas v detailech trochu ztrácí. Na druhou stranu oceňuji precizně a detailně zpracovanou třetí kapitolu práce zaměřenou na analýzu požadavků.

 83
Formální úprava technické zprávy

Pravděpodobně nejslabší část práce. Typograficky se jedná spíše o průměrnou práci s občasnými chybami, jako např. chybějící tečky u popisů obrázků, spojovníky místo pomlček, předčasné zalomení stránek, chybějící mezery, apod. Jazyková stránka textu pak trochu kolísá: některé sekce jsou psány velmi dobře, a v některých sekcích se naopak vyskytuje větší množství gramatických nebo stylistických chyb.

 75
Realizační výstup

Realizační výstup je nejsilnější stránka práce. Studentka odvedla značné množství práce při analýze, návrhu, implementaci i vyhodnocení výsledků. Studentka zároveň v průběhu řešení práce komunikovala s budoucími potenciálními uživateli integrovaných nástrojů a zvládla úspěšně zapracovat i postupně měnící se požadavky na řešení.

 90
Využitelnost výsledků

Jedná se o zadání ve spolupráci s firmou Red Hat a dle mých informací je předpokládáno budoucí využití a nasazení vytvořeného řešení. Realizační výstup je tedy prakticky využitelný.
Rozsah splnění požadavků zadání

Stupeň hodnocení: zadání splněno a práce obsahuje podstatná rozšíření

Výsledná práce splnila všechny body zadání a dle mého názoru obsahuje několik rozšíření:

  • Průzkum několika alternativ integrace nástrojů tmt a ReportPortal včetně prototypové implementace jednotlivých možností.
  • Implementace více druhů mapování jednotlivých testovacích primitiv mezi tmt a ReportPortal, konkrétně suite-per-plan a launch-per-plan mapování.
  • Vyhodnocení realizačního výstupu nejen na testovacích sadách tmt, jak vyžadovalo zadání, ale i vyhodnocení zpětné vazby uživatelů.
Rozsah technické zprávy

Stupeň hodnocení: přesahuje obvyklé rozmezí

Rozsah technické zprávy přesahuje obvyklé rozmezí, což je způsobeno převážně detailním popisem jednotlivých součástí práce a rozborem možných alternativ ke zvolenému řešení. Text neobsahuje zbytečné kapitoly nebo sekce.
Práce s literaturou

Práce se odkazuje celkem na 13 literárních pramenů. Jedná se z většiny o dokumentace k jednotlivých nástrojům, případně ISO standardy spojené s testováním, což je však u práce tohoto typu očekávatelné.

 80
Otázky k obhajobě:
  1. V závěru práce diskutujete míru splnění jednotlivých funkcionálních požadavků definovaných v kapitole 3. Mohla byste se stručně vyjádřit i k míře splnění nefuncionálních požadavků NR1 až NR6?
  2. Implementované rozšíření nástroje tmt přidává netriviální množství nových přepínačů, přičemž spousta jejich kombinací je nevalidních nebo nesmyslných (vizte tabulku 4.1). Nezvažovala jste implementaci pokročilejší hierarchie příkazů, přepínačů a jejich skupin (např. pomocí knihovny Click), což by mohlo lépe strukturovat rozhraní nástroje tmt?
Výsledný počet bodů navržený oponentem: 87

Známka navržená oponentem: B

Odpovědnost: Mgr. et Mgr. Hana Odstrčilová