Studentka pracovala s relevantní odbornou literaturou z oblasti filtrování spamu a metod strojového učení, a to včetně úzké oblasti zahlcení akademickým spamem. Práce vhodně propojuje obecné poznatky o různých přístupech k filtrování spamu s užším a neobvyklým problémem akademického e-mailového spamu.

Práce byla vypracována průběžně, její obsah byl dostatečně konzultován, při dokončování byla aktivita vyšší. Definitivní obsah práce byl zaslán k připomínkování v nepříliš velkém předstihu, avšak mé připomínky byly včas zapracovány.

Práce je psaná v anglickém jazyce, což hodnotím pozitivně. Text je celkově čtivý, používá správnou úroveň abstrakce a velmi dobře vysvětluje related work i motivaci jednotlivých kroků. Oceňuji také kvalitně zpracovanou sekci představující použité metriky v sekci 3.1.

Abstrakt je ale podle mě příliš generický. Formulace typu „práce začíná zkoumáním problému“ čtenáři příliš neřeknou a například zmínka o testování na 86 e-mailech bez dalšího kontextu nepůsobí příliš informativně. Rozšíření abstraktu o konkrétnější výsledky nebo přínosy by práci prospělo.

Introduction je poměrně stručný a prakticky bez referencí. Přestože jde spíše o sumarizační část, očekával bych obsáhlejší uvedení do problematiky a lepší zasazení práce do širšího kontextu.

Background část je naopak zpracována velmi dobře. Informace jsou prezentovány systematicky, jednotlivé části na sebe logicky navazují a text se dobře čte. Škoda jen, že v teoretické části prakticky chybí obrázky nebo diagramy vizualizující diskutované koncepty. Větší množství textu by podobné ilustrace pomohly zpřehlednit.

Výsledková část je místy prezentována poměrně nepřehledně. Například Table 5.4 se čte obtížně a čtenář se ve výsledcích místy ztrácí. Celkově by prezentaci výsledků prospěla větší míra sumarizace a vizualizace.

Hlavním přínosem realizační části je vytvoření vlastního datasetu akademického spamu, jeho analýza a následné experimentální ověření několika klasifikačních úloh. Oceňuji, že dataset nebyl pouze převzat z existujících zdrojů, ale vznikl sběrem reálných e-mailů od osob z akademického prostředí. To představuje nezanedbatelné množství práce a zároveň zvyšuje relevanci řešeného problému.

Metodologie tvorby datasetu má však několik slabších míst. Hodnocení e-mailů a jejich kategorizace jsou do značné míry subjektivní a založené na posouzení jedinou osobou. Samotná metodologie anotace navíc není dostatečně popsána — není zcela jasné, jak hodnocení probíhalo, podle jakých pravidel byly e-maily označovány ani proč anotaci prováděla externí osoba místo očekávaných příjemců podobných zpráv. To omezuje interpretovatelnost výsledků.

Pozitivně hodnotím analýzu datasetu a preliminary experimenty, ve kterých probíhá výběr modelů a ověřování, zda postačuje trénování na generickém spamu. Práce vhodně používá metriky a oceňuji také testování generalizace mimo tréninková data. Celkově je experimentální část rozumně navržena a většina rozhodnutí je dobře zdůvodněna.

Některá rozhodnutí by ale zasloužila detailnější diskusi. Například borderline samples jsou klasifikovány výrazně hůře než ostatní třídy, což je vzhledem k jejich malému zastoupení v datasetu očekávatelné. Studentka tento problém identifikuje, ale místo snahy o jeho řešení se rozhoduje tyto případy prakticky ignorovat. Podobně bych byl opatrný při určování topic/domény pouze na základě generických klíčových slov jako „department“ nebo „university“.

Pozitivně hodnotím, že si studentka uvědomuje většinu limitací svého přístupu a explicitně je v práci diskutuje. Celkově proto realizační část považuji za solidní: má jasné metodické slabiny, ale zároveň obsahuje vlastní dataset, rozumné experimenty a prakticky použitelný výstup.

Evaluation level: assignment fulfilled

Zadání bylo splněno v požadovaném rozsahu. Hlavním přínosem práce je vytvoření vlastního datasetu akademického spamu, jeho analýza a návrh několika klasifikátorů pro rozlišení spam/ham zpráv, tematické kategorizace a rozlišení akademického a generického spamu. Zbytek systému představuje spíše jednodušší routování a následné nakládání se zprávami, což ale odpovídá rozsahu bakalářské práce.

Pozitivně hodnotím také parametrizaci systému, která zvyšuje jeho použitelnost v různých scénářích nasazení.

Práce využívá převážně odborné publikace a relevantní zdroje. Citace jsou v background sekcích používány správně a literatura odpovídá tématu práce.

Současně mi ale chybí detailnější diskuse existujících datasetů spamových e-mailů. Práce sice uvádí, že neexistují datasety specificky zaměřené na akademický spam, ale zcela chybí rozbor běžně používaných spam datasetů a jejich vlastností. Očekával bych alespoň základní analýzu relevantních datasetů a následné převzetí vhodných postupů nebo struktur při návrhu vlastního datasetu.