Bachelor's Thesis

Comparator of Test Results

Final Thesis 1.89 MB

Author of thesis: Bc. Patrik Čerbák

Acad. year: 2023/2024

Supervisor: Ing. Aleš Smrčka, Ph.D.

Reviewer: Ing. David Kozák

Abstract:

This bachelor's thesis deals with the topic of OpenJDK testing in Red Hat and how to make this testing more efficient. One of the main problems when testing is comparing whether a particular test failed on only one variant of a test suite or on multiple variants (one test suite with the same tests has many variants – they differ, for example, in operating systems, runtime architecture, etc.). Because of this, in this thesis, a tool is designed and implemented to compare test results on different variants of a test suite. This tool is implemented in the Java programming language and can run standalone as a CLI program or in a dedicated web environment. This comparator is also part of a so-called Jtreg plugin, which is an open source plugin to Jenkins that is used by the OpenJDK QA team at Red Hat. The tool itself allows you to do a lot of things, such as filtering test suites for comparison, creating a failed tests comparison table, a failed tests stack trace similarity table, or a table comparing the build result of individual test suites.

Keywords:

comparator, OpenJDK, testing, Red Hat, quality assurance, Java, Jenkins, unit tests, JUnit, Jtreg

Date of defence

11.06.2024

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Topics for thesis defence

  1. Dotaz k Figure 3.5: V nakresleném schématu se operace "take last N builds" vykonává před operací provádějící filtrování, což v praxi znamená, že se může vrátit méně než N výsledků. Proč nezvolit opačné pořadí - nejdříve filtrovat a vrátit prvních N výsledků, které filtrem projdou?

Language of thesis

English

Faculty

Department

Study programme

Information Technology (BIT)

Composition of Committee

doc. RNDr. Pavel Smrž, Ph.D. (předseda)
Ing. Aleš Smrčka, Ph.D. (člen)
Ing. Zbyněk Křivka, Ph.D. (člen)
Ing. Jaroslav Rozman, Ph.D. (člen)
doc. Ing. Jan Kořenek, Ph.D. (člen)

Supervisor’s report
Ing. Aleš Smrčka, Ph.D.

Student postupoval příkladně, pracoval na praktickém problému a dosáhl použitelného výsledku.

Evaluation criteria Verbal classification
Informace k zadání

Zadání bylo vypsáno ve spolupráci s firmou Red hat na základě jejich požadavků. Student aktivně spolupracoval s jejich vývojovým týmem. Zadání bylo splněno.

Práce s literaturou

Studijní prameny si vybíral student sám.

Aktivita během řešení, konzultace, komunikace

Student byl aktivní na obou stranách (převážně ve firmě Red hat), ale také na méně četných konzultacích se mnou. Na konzultacích byl vždy připravený, postup práce byl bezproblémový.

Aktivita při dokončování

Částečný i konečný výsledek byl několikrát během roku konzultován. Závěrečná zpráva byla konzultována v dostatečném předstihu. Mé připomínky byly zohledněny.

Publikační činnost, ocenění

Student pracoval na rozšíření nástroje s otevřenou licencí. Výsledek samotný má praktické užití pro vývojový tým firmy Red hat.

Points proposed by supervisor: 95

Grade proposed by supervisor: A

Reviewer’s report
Ing. David Kozák

Zadání svojí náročností přesahuje typický rozsah. Student odvedl výbornou práci, jak po stránce implementační, tak i kvalitou textové zprávy. 

Evaluation criteria Verbal classification Points
Náročnost zadání

Evaluation level: obtížnější zadání

Zadání svou obtížnosti přesahuje typický rozsah BP.

Prezentační úroveň technické zprávy

Text je skvěle strukturovaný, jednotlivé části na sebe vhodně navazují.

95
Formální úprava technické zprávy

Text práce je kvalitní a dobře srozumitelný.

95
Realizační výstup

Výsledný program je plně funkční a jednoduše použitelný.

95
Využitelnost výsledků

Výsledky práce jsou využívány v praxi firmou Red Hat.

Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Zadání bylo splněno ve všech bodech.  Nad rámec uvedených cílů bylo vyvinuto webové rozhraní.

Rozsah technické zprávy

Evaluation level: přesahuje obvyklé rozmezí

Rozsah práce přesahuje typický počet normostran, všechny jeho části jsou informačně bohaté a vhodně do sebe zapadají.

Práce s literaturou

Student volil vhodné literární prameny a relevantní zdroje.

90
Topics for thesis defence:
  1. Dotaz k Figure 3.5: V nakresleném schématu se operace "take last N builds" vykonává před operací provádějící filtrování, což v praxi znamená, že se může vrátit méně než N výsledků. Proč nezvolit opačné pořadí - nejdříve filtrovat a vrátit prvních N výsledků, které filtrem projdou?
Points proposed by reviewer: 95

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová