Bachelor's Thesis

Extension of the tmt Tool for Reporting through the ReportPortal API

Final Thesis 1.54 MB Appendix 19.25 MB

Author of thesis: Bc. Natália Bubáková

Acad. year: 2023/2024

Supervisor: Ing. Aleš Smrčka, Ph.D.

Reviewer: Ing. Jiří Pavela

Abstract:

This Bachelor’s thesis provides insight into testing processes practiced across teams at Red Hat and describes a new testing infrastructure proposed to improve testing workflow within the company. With this infrastructure serving as the main motivation for
the assignment, the work targets several use cases of report functionality resulting from the integration of the Test Management Tool commonly known as tmt and the reporting platform ReportPortal. It examines both of these tools, analyses alternative approaches,
and proposes an implementation of a tmt plugin that integrates seamlessly with ReportPortal, via its REST API. The focus of the thesis encapsulates all steps behind a community-driven project, closely examining detailed aspects of design, implementation, and testing of all requested features of the plugin that actively resides within the tmt open-source project.

Keywords:

Test Management Tool, tmt, fmf, Report Portal, test report, software testing, test result management, test plan, test run, test case

Date of defence

11.06.2024

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Studentka nejprve prezentovala výsledky, kterých dosáhla v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Studentka následně odpověděla na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studentky na položené otázky rozhodla práci hodnotit stupněm B.

Topics for thesis defence

  1. V závěru práce diskutujete míru splnění jednotlivých funkcionálních požadavků definovaných v kapitole 3. Mohla byste se stručně vyjádřit i k míře splnění nefuncionálních požadavků NR1 až NR6?
  2. Implementované rozšíření nástroje tmt přidává netriviální množství nových přepínačů, přičemž spousta jejich kombinací je nevalidních nebo nesmyslných (vizte tabulku 4.1). Nezvažovala jste implementaci pokročilejší hierarchie příkazů, přepínačů a jejich skupin (např. pomocí knihovny Click), což by mohlo lépe strukturovat rozhraní nástroje tmt?

Language of thesis

English

Faculty

Fakulta informačních technologií

Department

Department of Intelligent Systems

Study programme

Information Technology (BIT)

Composition of Committee

doc. RNDr. Pavel Smrž, Ph.D. (předseda)
Ing. Aleš Smrčka, Ph.D. (člen)
Ing. Zbyněk Křivka, Ph.D. (člen)
Ing. Jaroslav Rozman, Ph.D. (člen)
doc. Ing. Jan Kořenek, Ph.D. (člen)

Supervisor’s report
Ing. Aleš Smrčka, Ph.D.

Studentka splnila zadání. Informovala mě o aktuálním stavu i pokroku a všechny důležité části konzultovala s předstihem. Technický vedoucí z firmy Red hat hodnotí výsledek pozitivně s tím, že nový plugin se nyní používá ve zkušebním provozu. Očekávají další rozšíření, ale základní funkcionalita byla položena podle očekávání a v dobré kvalitě.

Evaluation criteria Verbal classification
Informace k zadání

Zadání projektu bylo vypsáno ve spolupráci s firmou Red hat. Pro splnění cílů práce bylo třeba nastudovat a integrovat dvě oddělené technologie a uvést je do stavu použitelném v aktivním vývojovém (testerském) prostředí. Cíl práce byl splněn.
Práce s literaturou

Studentka si studijní prameny vybírala sama.
Aktivita během řešení, konzultace, komunikace

Studentka konzultovala a postupovala nepravidelně, avšak zodpovědně k požadovanému výsledku.
Aktivita při dokončování

Aktivita byla koncentrována vždy k nějakému termínu (průběžné obhajoby, dohodnutému milníku nebo odevzdání projektu). Programovou část i technickou zprávu však konzultovala v dostatečném předstihu.
Publikační činnost, ocenění
Points proposed by supervisor: 89

Grade proposed by supervisor: B

Reviewer’s report
Ing. Jiří Pavela

Jedná se o kvalitně zpracovanou práci, jejíž nejsilnější stránkou je realizační výstup s očekávaným nasazením v praxi. Studentka v průběhu práce zvládla zohlednit a zapracovat postupně se měnící požadavky potenciálních uživatelů nástroje. Práce obsahuje několik rozšíření nad rámec zadání, ať už na úrovni analýzy nebo samotné implementace. Celkový dojem z práce však trochu kazí slabší typografická, a místy pak i jazyková, úroveň technické zprávy. S přihlédnutím ke všem silným a slabým stránkám práce tak navrhuji hodnocení stupněm B.

Evaluation criteria Verbal classification Points
Náročnost zadání

Evaluation level: průměrně obtížné zadání
Prezentační úroveň technické zprávy

Práce je logicky dobře strukturována a kapitoly na sebe vhodně navazují. Vzhledem k rozsahu textu a popisu realizačního výstupu se však čtenář občas v detailech trochu ztrácí. Na druhou stranu oceňuji precizně a detailně zpracovanou třetí kapitolu práce zaměřenou na analýzu požadavků.

 83
Formální úprava technické zprávy

Pravděpodobně nejslabší část práce. Typograficky se jedná spíše o průměrnou práci s občasnými chybami, jako např. chybějící tečky u popisů obrázků, spojovníky místo pomlček, předčasné zalomení stránek, chybějící mezery, apod. Jazyková stránka textu pak trochu kolísá: některé sekce jsou psány velmi dobře, a v některých sekcích se naopak vyskytuje větší množství gramatických nebo stylistických chyb.

 75
Realizační výstup

Realizační výstup je nejsilnější stránka práce. Studentka odvedla značné množství práce při analýze, návrhu, implementaci i vyhodnocení výsledků. Studentka zároveň v průběhu řešení práce komunikovala s budoucími potenciálními uživateli integrovaných nástrojů a zvládla úspěšně zapracovat i postupně měnící se požadavky na řešení.

 90
Využitelnost výsledků

Jedná se o zadání ve spolupráci s firmou Red Hat a dle mých informací je předpokládáno budoucí využití a nasazení vytvořeného řešení. Realizační výstup je tedy prakticky využitelný.
Rozsah splnění požadavků zadání

Evaluation level: zadání splněno a práce obsahuje podstatná rozšíření

Výsledná práce splnila všechny body zadání a dle mého názoru obsahuje několik rozšíření:

  • Průzkum několika alternativ integrace nástrojů tmt a ReportPortal včetně prototypové implementace jednotlivých možností.
  • Implementace více druhů mapování jednotlivých testovacích primitiv mezi tmt a ReportPortal, konkrétně suite-per-plan a launch-per-plan mapování.
  • Vyhodnocení realizačního výstupu nejen na testovacích sadách tmt, jak vyžadovalo zadání, ale i vyhodnocení zpětné vazby uživatelů.
Rozsah technické zprávy

Evaluation level: přesahuje obvyklé rozmezí

Rozsah technické zprávy přesahuje obvyklé rozmezí, což je způsobeno převážně detailním popisem jednotlivých součástí práce a rozborem možných alternativ ke zvolenému řešení. Text neobsahuje zbytečné kapitoly nebo sekce.
Práce s literaturou

Práce se odkazuje celkem na 13 literárních pramenů. Jedná se z většiny o dokumentace k jednotlivých nástrojům, případně ISO standardy spojené s testováním, což je však u práce tohoto typu očekávatelné.

 80
Topics for thesis defence:
  1. V závěru práce diskutujete míru splnění jednotlivých funkcionálních požadavků definovaných v kapitole 3. Mohla byste se stručně vyjádřit i k míře splnění nefuncionálních požadavků NR1 až NR6?
  2. Implementované rozšíření nástroje tmt přidává netriviální množství nových přepínačů, přičemž spousta jejich kombinací je nevalidních nebo nesmyslných (vizte tabulku 4.1). Nezvažovala jste implementaci pokročilejší hierarchie příkazů, přepínačů a jejich skupin (např. pomocí knihovny Click), což by mohlo lépe strukturovat rozhraní nástroje tmt?
Points proposed by reviewer: 87

Grade proposed by reviewer: B

Responsibility: Mgr. et Mgr. Hana Odstrčilová