Student pracoval s literaturou na doporučení vedoucího a nezávisle si vyhledával vlastní zdroje.

Text práce mně byl ukázán celý na konci dubna. Student poznámky zapracoval a finální obsah byl konzultován.

Text je sice pochopitelný včetně použitých metod, experimentů a výsledků. Mohl ale přeci jen být lépe uspořádaný a témata prezentovat přesněji. Mohl lépe odděleně prezentovat jednotlivé myšlenky, vlastní řešení od již existujícího a technických detailů. U  vysvětlování použitých metod mohl být přesnější a jít více do hloubky.

Konkrétní připomínky:

• Text naznačuje, že řeší NER, což je ale jiná úloha.
• Práce zbytečně prezentuje základy jako neuron, loss funkce, attention, embedding. Na druhou stranu pokročilé modely vysvětluje spíše povrchně.
• Chybí přehled současného stavu v dané oblasti.
• 2.3.2 BIO - představuje skok v logice textu.
• 2.6 metriky - Chybí zdroje a jejich konkrétní použití mohlo být vysvětleno jasněji. 
• Popis problému s rotovanými obdélníky a souřadnicemi je zbytečný technický detail.
• 3.4.1 a klouzavé okno obecně - Jaká je relevance, když to nebylo v práci nikde použité?
• 3.4.2 Dynamický Padding - základní technika, kterou možná není potřeba zmiňovat.
• Když text vysvětluje, že na předtištěných textech se nevyhodnocuje, není ještě jasné, že se tyto texty explicitně filtrují.
• Chybí mi vizualizace pozic textů v trénovací sadě.
• 4.3.2 Problémy s frameworkem Detectron2 - technické detaily by měly být oddělené.

Vytvořené skripty pro trénování modelů i zpracování dokumentů jsou funkční a rozumně dokumentované. Žádné skripty ale neumožňují externí konfiguraci, ať už parametry příkazové řádky, nebo konfiguračním souborem – všechny parametry jsou přímo v kódu jako konstanty. Ve shodě s tím skripty neposkytují nápovědu s parametry -h nebo --help.

Vyhodnocení je vhodné, ale vzhledem k malé testovací sadě výrazně chybí statistické vyhodnocení výsledků – konfidenční intervaly a testy u tvrzení o superioritě.

Slabinou experimentů je nevyhodnocení přetrénování, případně chybějící systematické vyhodnocení vlivu regularizace a délky trénování.

Evaluation level: zadání splněno s drobnými výhradami

• Přehled existujících metod se omezuje jen na metody použité studentem. Chybí přehled současného stavu v dané oblasti.
• Chybí rešerše existujících datových sad.
• Chybí video, případně leták.

Text se odkazuje na 25 kvalitních a relevantních zdrojů. Chybí mi ale širší přehled stavu poznání v této oblasti a také existujících datových sad. 

U využití některých zdrojů mám pochyby o jejich správnosti:

• Práce se odkazuje na [10], že mezi extrakci informací patří NER, extrakce vztahů a key information extraction. Ale v [10] kapitole 2O. Information Extraction jsou: relation extraction, knowledge graphs, event extraction a template filling. Key Information Extraction vůbec v kapitole 2O není. 
• Práce se odkazuje na survey [18], že v NLP existují základní přístupy: rule based, tradiční strojové učení, Deep learning. Zdroj je z roku 2007 a o hlubokém učení a možná ani o neuronových sítích se nezmiňuje.