Master's Thesis

Automatic Test Input Generation for Information Systems

Final Thesis 3.46 MB

Author of thesis: Ing. Andrej Naňo

Acad. year: 2020/2021

Supervisor: Ing. Aleš Smrčka, Ph.D.

Reviewer: Ing. Tomáš Fiedor, Ph.D.

Abstract:

ISAGEN is a tool for the automatic generation of structurally complex test inputs that imitate real communication in the context of modern information systems. Complex, typically tree-structured data currently represents the standard means of transmitting information between nodes in distributed information systems. Automatic generator ISAGEN is founded on the methodology of data-driven testing and uses concrete data from the production environment as the primary characteristic and specification that guides the generation of new similar data for test cases satisfying given combinatorial adequacy criteria. The main contribution of this thesis is a comprehensive proposal of automated data generation techniques together with an implementation, which demonstrates their usage. The created solution enables testers to create more relevant testing data, representing production-like communication in information systems.

Keywords:

automatic data generator, data-based testing, data-driven testing, information system, tree data, testing, automatic testing, test data, test input, combinatorial testing, t-wise, semantical analysis, data analysis, JSON, data generation, data synthesis, structured data, communication modeling, data reproduction, Testos, combine, ts-reporter

Date of defence

23.06.2021

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na doplnění ze strany přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm "A".

Otázky u obhajoby:

  1. Diskutujte možnost adaptability Vašeho nástroje na základě zpětné vazby uživatele nebo výsledků testování pomocí Vámi vygenerované testovací sady (např. když vygenerovaná sada vede na nevalidní data).
  2. Byť v práci zmiňujete, že jste neřešil horizontální analýzu zpráv, zaručuje Váš nástroj, že stejné hodnoty na různých místech v různých zprávách budou po generování testovaci sady rovněž stejné?
  3. Komise, například: Proč jste volil na "slide 6" v prezentaci nevhodnou - nečitelnou barvu písma?

Language of thesis

Czech

Faculty

Fakulta informačních technologií

Department

Department of Intelligent Systems

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Information Systems and Databases (NISD)

Composition of Committee

doc. Dr. Ing. Dušan Kolář (předseda)
doc. Ing. František Zbořil, Ph.D. (místopředseda)
doc. Ing. Radek Burget, Ph.D. (člen)
doc. Mgr. Adam Rogalewicz, Ph.D. (člen)
RNDr. Marek Rychlý, Ph.D. (člen)
Ing. Vladimír Veselý, Ph.D. (člen)

Supervisor’s report
Ing. Aleš Smrčka, Ph.D.

Grade proposed by supervisor: A

File inserted by supervisor Size
Hodnocení vedoucího [.pdf] 86,86 kB

Reviewer’s report
Ing. Tomáš Fiedor, Ph.D.

Grade proposed by reviewer: A

File inserted by the reviewer Size
Posudek oponenta [.pdf] 88,95 kB

Responsibility: Mgr. et Mgr. Hana Odstrčilová