diplomová práce

Generování fotorealistických obrázků fotbalistů podmíněných číslem dresu

Autor práce: Ing. Dan Plaček

Ak. rok: 2022/2023

Vedoucí: doc. Ing. Martin Čadík, Ph.D.

Oponent: Ing. David Hříbek

Abstrakt:

Tato práce se zabývá problematikou generování dat pomocí generativních modelů, konkrétně podmíněným generováním obrázků fotbalistů na základě jejich čísla dresu. Popisuje několik kategorií generativních modelů a jejich zástupců, ze kterých jsou na základě experimentů vybrány ty nejvhodnější. Tito zástupci jsou dále podrobně vysvětleni. Z důvodu absence datasetu bylo navrženo několika stupňové automatické anotační schéma, které umožnilo automaticky anotovat hráče s jejich čísly na dresech. Toto schéma bylo použito na zápasech z datasetu Soccer-net-v2 a okolo 41% fotbalových hráčů bylo naanotováno správně. Osoby, u nichž nebylo viditelné celé číslo, vymazali anotátoři z datasetu. Po odmazání se zvýšil počet správně naanotovaných fotbalových hráčů nad 60%. Předem vybrané generativní modely byly otestovány na datech oanotovaných automatickým anotačním schématem, přičemž na základě výsledků byla vybrána nejlepší kombinace: VQGAN pro první fázi a LDM pro druhou fázi. Na základě série experimentů bylo provedeno několik inovací LDM se snahou vylepšit generování obrázků, a to i z nových kategorií. V závěru byly zmíněny omezení těchto přístupů a návrhy na jejich případná vylepšení.

Klíčová slova:

automatická anotace datasetu, čísla dresů, fotbaloví hráči, generativní modely, LDM, MaskGIT, OCR-VQGAN, Soccer-net, ViT-VQGAN, VQGAN

Termín obhajoby

19.06.2023

Práce bude zveřejněna

18.06.2026

Výsledek obhajoby

obhájeno (práce byla úspěšně obhájena)

znamkaBznamka

Klasifikace

B

Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Otázky k obhajobě

  1. Jakým způsobem hodnotíte kvalitu vygenerovaných obrázků fotbalistů?
  2. Jaké je praktické využití generování obrázků fotbalistů podmíněných číslem jejich dresu?
  3. Vytvořil jste uživatelské rozhraní pro anotování?
  4. Proč používáte kvantizovaný model?

Jazyk práce

angličtina

Fakulta

Ústav

Studijní program

Informační technologie a umělá inteligence (MITAI)

Specializace

Strojové učení (NMAL)

Složení komise

prof. Dr. Ing. Jan Černocký (předseda)
doc. Ing. Lukáš Burget, Ph.D. (člen)
doc. RNDr. Milan Češka, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. Jaroslav Rozman, Ph.D. (člen)
Ing. František Grézl, Ph.D. (člen)

In the presented master thesis, the student experimented with existing conditional generative models and implemened a system for generating novel images of soccer players. It turns out that the generated imagery may not be sufficient for significant quality improvements in current soccer player classifiers, but the experimental results are still interesting and promising. The diploma thesis is well structured and conscicely written, and I appreciate that the thesis is written in English. In general, I consider this work clearly above average quality.

Kritérium hodnocení Slovní hodnocení
Informace k zadání

The difficulty of the assignment of this diploma thesis is slightly above the average. The student had to study and use current conditional generative models for a specific task of generating novel images of soccer players. The further goal of the work was to create a dataset for training and evaluation of generative models. I am satisfied with the results.

Práce s literaturou

I find the student's activity in obtaining and using study materials above average. The student showed the ability to study, understand and use a number of research articles and other sources.

Aktivita během řešení, konzultace, komunikace

During the solution, the student was active, and he regularly reported the progress in the weekly reports. He met the agreed deadlines and he was always well prepared for the consultation.

Aktivita při dokončování

The work was completed just before the deadline, but the final content was partially consulted with the supervisor.

Publikační činnost, ocenění
Výsledný počet bodů navržený vedoucím: 88

Známka navržená vedoucím: B

Posudek oponenta
Ing. David Hříbek

Autor práce prostudoval problematiku podmíněných generativních modelů a pomocí těchto modelů navrhl způsob generování nových obrázků hráčů fotbalu na základě čísla dresu. Autor dále navrhl a implementoval metodu pro získání datasetu na kterém vyhodnotil vybrané modely. Vzhledem k absenci existujícího datasetu a mírně obtížnějšímu zadání navrhuji hodnocení stupněm B.

Kritérium hodnocení Slovní hodnocení Body
Náročnost zadání

Stupeň hodnocení: obtížnější zadání

Zadání práce hodnotím jako obtížnější. Autor se musel seznámit s podmíněnými generativními modely a pomocí těchto metod navrhnout způsob generování nových obrázků hráčů fotbalu na základě čísla dresu, dále návrhnout nebo vytvořit dataset pro trénování a evaluaci těchto metod. S navženými metodami bylo nutné experimentovat na daném datasetu a eliminovat omezení metod.

Rozsah splnění požadavků zadání

Stupeň hodnocení: zadání splněno

Zadání bylo splněno ve všech bodech.

Rozsah technické zprávy

Stupeň hodnocení: je v obvyklém rozmezí

Prezentační úroveň technické zprávy

Prezentační úroveň zprávy považuji za průměrnou. Text práce je srozumitelný a logicky strukturovaný. Jednotlivé kapitoly dobře navazují a prezentují přehled podmíněných generativních modelů, výběr konkrétních architektur, proces tvorby nového datasetu, implementaci a vyhodnocení vybraných modelů pro generování nových obrázků hráče fotbalu na základě čísla dresu.

85
Formální úprava technické zprávy

Práce je psaná jazykově čistou a srozumitelnou angličtinou. Nenašel jsem v práci žádná vážnější provinění proti formální stránce.

85
Práce s literaturou

Student cituje celkem 50 zdrojů. Primárně se jedná o vědecké články, žurnály a online zdroje vztahující se k tématu generativních modelů a strojovému učení.

95
Realizační výstup

Výsledkem práce je funkční systém, který dokáže ze souborů videí extrahovat dataset obsahující pozice hráčů a čísla dresů. Systém se dokáže následně na tomto datasetu natrénovat a poté generovat nové obrázky hráčů fotbalu na základě čísla dresu pomocí podmíněných generativních metod strojového učení.

90
Využitelnost výsledků

Výsledny systém umožňuje generovat obrázky hráčů fotbalu s čísly dresu, které neobsahuje datová sada. Takto je možné nagenerovat data tříd s nízkým počtem vzorků. Výsledná data jsou užitečná pro další zpracování jinými algoritmy.

Otázky k obhajobě:
  1. Jaké je praktické využití generování obrázků fotbalistů podmíněných číslem jejich dresu?
  2. Jakým způsobem hodnotíte kvalitu vygenerovaných obrázků fotbalistů?
Výsledný počet bodů navržený oponentem: 88

Známka navržená oponentem: B

Důvod odložení zveřejnění

Zveřejnění této práce je odloženo v souladu s ustanovením § 47b zákona č. 111/1998 Sb. o vysokých školách a o změně a doplnění dalších zákonů (zákon o vysokých školách), ve znění pozdějších předpisů.

Odpovědnost: Mgr. et Mgr. Hana Odstrčilová