Master's Thesis

Generating Photorealistic Soccer Player Images Conditioned on a Jersey Number

Author of thesis: Ing. Dan Plaček

Acad. year: 2022/2023

Supervisor: prof. Ing. Martin Čadík, Ph.D.

Reviewer: Ing. David Hříbek

Abstract:

This thesis deals with data generation via generative models, namely the conditional generation of soccer players' images based on their jersey numbers. Categories of generative models with their representatives were described. Based on experiments, the best ones from these representatives were chosen. The chosen representatives were explained in detail. Owing to the absence of the dataset, we suggested the automatic annotation pipeline to annotate players with their jersey numbers. This pipeline was applied to the soccer matches in the Soccer-net-v2 dataset, and about 41% of annotated soccer players were annotated correctly. When annotators deleted annotated people without a fully visible number from the dataset, this number increased above 60%. The selected generative models were trained and tested on these annotated data and as the best combination, the VQGAN as the first stage and the LDM as the second stage were selected. Numerous improvements of the LDM were provided based on a series of experiments to enhance image generation and image generation of new classes. In the end, we suggested the limitations of these approaches and their improvements.

Keywords:

automatic dataset annotation, jersey numbers, generative models, LDM, MaskGIT, soccer players, Soccer-net, OCR-VQGAN, ViT-VQGAN, VQGAN

Date of defence

19.06.2023

Date of publish

18.06.2026

Result of the defence

Defended (thesis was successfully defended)

znamkaBznamka

Grading

B

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Topics for thesis defence

  1. Jakým způsobem hodnotíte kvalitu vygenerovaných obrázků fotbalistů?
  2. Jaké je praktické využití generování obrázků fotbalistů podmíněných číslem jejich dresu?
  3. Vytvořil jste uživatelské rozhraní pro anotování?
  4. Proč používáte kvantizovaný model?

Language of thesis

English

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Machine Learning (NMAL)

Composition of Committee

prof. Dr. Ing. Jan Černocký (předseda)
doc. Ing. Lukáš Burget, Ph.D. (člen)
doc. RNDr. Milan Češka, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. Jaroslav Rozman, Ph.D. (člen)
Ing. František Grézl, Ph.D. (člen)

Supervisor’s report
prof. Ing. Martin Čadík, Ph.D.

In the presented master thesis, the student experimented with existing conditional generative models and implemened a system for generating novel images of soccer players. It turns out that the generated imagery may not be sufficient for significant quality improvements in current soccer player classifiers, but the experimental results are still interesting and promising. The diploma thesis is well structured and conscicely written, and I appreciate that the thesis is written in English. In general, I consider this work clearly above average quality.

Evaluation criteria Verbal classification
Informace k zadání

The difficulty of the assignment of this diploma thesis is slightly above the average. The student had to study and use current conditional generative models for a specific task of generating novel images of soccer players. The further goal of the work was to create a dataset for training and evaluation of generative models. I am satisfied with the results.

Práce s literaturou

I find the student's activity in obtaining and using study materials above average. The student showed the ability to study, understand and use a number of research articles and other sources.

Aktivita během řešení, konzultace, komunikace

During the solution, the student was active, and he regularly reported the progress in the weekly reports. He met the agreed deadlines and he was always well prepared for the consultation.

Aktivita při dokončování

The work was completed just before the deadline, but the final content was partially consulted with the supervisor.

Publikační činnost, ocenění
Points proposed by supervisor: 88

Grade proposed by supervisor: B

Reviewer’s report
Ing. David Hříbek

Autor práce prostudoval problematiku podmíněných generativních modelů a pomocí těchto modelů navrhl způsob generování nových obrázků hráčů fotbalu na základě čísla dresu. Autor dále navrhl a implementoval metodu pro získání datasetu na kterém vyhodnotil vybrané modely. Vzhledem k absenci existujícího datasetu a mírně obtížnějšímu zadání navrhuji hodnocení stupněm B.

Evaluation criteria Verbal classification Points
Náročnost zadání

Evaluation level: obtížnější zadání

Zadání práce hodnotím jako obtížnější. Autor se musel seznámit s podmíněnými generativními modely a pomocí těchto metod navrhnout způsob generování nových obrázků hráčů fotbalu na základě čísla dresu, dále návrhnout nebo vytvořit dataset pro trénování a evaluaci těchto metod. S navženými metodami bylo nutné experimentovat na daném datasetu a eliminovat omezení metod.

Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Zadání bylo splněno ve všech bodech.

Rozsah technické zprávy

Evaluation level: je v obvyklém rozmezí

Prezentační úroveň technické zprávy

Prezentační úroveň zprávy považuji za průměrnou. Text práce je srozumitelný a logicky strukturovaný. Jednotlivé kapitoly dobře navazují a prezentují přehled podmíněných generativních modelů, výběr konkrétních architektur, proces tvorby nového datasetu, implementaci a vyhodnocení vybraných modelů pro generování nových obrázků hráče fotbalu na základě čísla dresu.

85
Formální úprava technické zprávy

Práce je psaná jazykově čistou a srozumitelnou angličtinou. Nenašel jsem v práci žádná vážnější provinění proti formální stránce.

85
Práce s literaturou

Student cituje celkem 50 zdrojů. Primárně se jedná o vědecké články, žurnály a online zdroje vztahující se k tématu generativních modelů a strojovému učení.

95
Realizační výstup

Výsledkem práce je funkční systém, který dokáže ze souborů videí extrahovat dataset obsahující pozice hráčů a čísla dresů. Systém se dokáže následně na tomto datasetu natrénovat a poté generovat nové obrázky hráčů fotbalu na základě čísla dresu pomocí podmíněných generativních metod strojového učení.

90
Využitelnost výsledků

Výsledny systém umožňuje generovat obrázky hráčů fotbalu s čísly dresu, které neobsahuje datová sada. Takto je možné nagenerovat data tříd s nízkým počtem vzorků. Výsledná data jsou užitečná pro další zpracování jinými algoritmy.

Topics for thesis defence:
  1. Jaké je praktické využití generování obrázků fotbalistů podmíněných číslem jejich dresu?
  2. Jakým způsobem hodnotíte kvalitu vygenerovaných obrázků fotbalistů?
Points proposed by reviewer: 88

Grade proposed by reviewer: B

Reasons for publication postponement

Publication of the final thesis has been postponed in compliance with the provisions of Section 47b (4) of Act No. 111/1998 Coll., on the Higher Education Institutions and on amendments and supplements to other acts, as amended.

Responsibility: Mgr. et Mgr. Hana Odstrčilová