Master's Thesis

Network interface card performance testing

Final Thesis 1.41 MB

Author of thesis: Ing. Jozef Karabelly

Acad. year: 2023/2024

Supervisor: Ing. Matěj Grégr, Ph.D.

Reviewer: Ing. Peter Nagy

Abstract:

This thesis explores the importance of NIC performance testing in network engineering, particularly for systems using the modern Linux kernel, due to rising network throughputs and multi-core processors expansion. It develops a scalable, adaptable test scenarios for NIC testing that handle the complexities of a rapidly evolving hardware and software landscape, aiming for stable, reproducible outcomes across different scenarios. The research includes analyzing Linux kernel's offloading features, using continuous integration tools for voluminous testing, and rigorously examining hardware setups. The test scenarios' effectiveness is validated through extensive testing on a specialized testbed, enhancing the understanding and optimization of NIC performance in complex Linux-based networks.

Keywords:

testing, performane testing, network interface cards, continuous testing, Linux, hardware offloading

Date of defence

18.06.2024

Result of the defence

Defended (thesis was successfully defended)

znamkaAznamka

Grading

A

Process of defence

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.

Topics for thesis defence

  1. Z akého dôvodu nastáva pokles výkonnosti pri protokole IPv6 oproti protokolu IPv4?
  2. Uvádějí takové informace i výrobci síťových karet? Proč bylo třeba, abyste se testováním zabýval sám v rámci Vaší práce? A můžete porovnat zjištěné výsledky s informacemi od výrobců?

Language of thesis

English

Faculty

Department

Study programme

Information Technology and Artificial Intelligence (MITAI)

Specialization

Machine Learning (NMAL)

Composition of Committee

prof. Dr. Ing. Jan Černocký (předseda)
doc. Ing. Lukáš Burget, Ph.D. (člen)
doc. Mgr. Lukáš Holík, Ph.D. (člen)
Ing. Michal Hradiš, Ph.D. (člen)
Ing. František Grézl, Ph.D. (člen)
prof. Ing. Lukáš Sekanina, Ph.D. (člen)

Supervisor’s report
Ing. Matěj Grégr, Ph.D.

V rámci diplomové práce byla otestována řada kombinací síťových karet a procesorů. Podrobně byly popsány optimalizace, které jsou dostupné v rámci jádra systému Linux a jejich dopad na výkon. Testování síťových karet je také vhodně automatizováno pro jednodušší testování v budoucnu.


Práce je z mého pohledu kvalitně napsána a výsledky jsou použitelné pro získání ucelené představy o výkonnosti současných řešení. K aktivitě v průběhu řešení nemám výhrady. Celkově hodnotím práci a přístup studenta při řešení práce jako výborný (A).

Evaluation criteria Verbal classification
Informace k zadání

Práce se zaměřuje na otestování výkonnosti síťových karet a porovnání dopadů různých architektur procesorů na propustnost karet. Práci celkově hodnotím jako středně náročnou. 

Aktivita při dokončování

Práce byla dokončena v rozumném předstihu a obsah byl dostatečně konzultován.

Publikační činnost, ocenění

Práce nebyla zatím nikde publikována.

Práce s literaturou

Student využil dostupnou literaturu a byl schopen si samostatně nalézt další zdroje pro podrobnější informace o jednotlivých optimalizacích v jádře systému Linux.  

Aktivita během řešení, konzultace, komunikace

Student byl při řešení aktivní, dohodnuté termíny konzultací dodržoval a byl na ně dobře připraven. Vůči aktivitě v rámci semestru nemám námitky.

Points proposed by supervisor: 90

Grade proposed by supervisor: A

Reviewer’s report
Ing. Peter Nagy

Študent sa v rámci práce musel zoznámiť s problematikou sietí v linuxovom jadre, automatizovaného výkonnostného testovania a následne výsledky zhodnotiť. Pozitívne hodnotím anglický jazyk práce a orientáciu v pomerne komplexnej problematike. Množstvo testovaných parametrov a zahrnutie ich vplyvu do testovania dokazuje orientáciu autora v danej problematike. Práca je z formálneho hladiska na vysokej úrovni. Za jedinú slabinu práce považujem neprehľadnú a ťažšie pochopiteľnú prezentáciu a interpretáciu nameraných hodnôt. Na základe toho navrhujem hodnotenie A - výborne.

Evaluation criteria Verbal classification Points
Rozsah splnění požadavků zadání

Evaluation level: zadání splněno

Zadanie práce bolo splnené v plnom rozsahu.

Rozsah technické zprávy

Evaluation level: přesahuje obvyklé rozmezí

Práca rozsahom mierne presahuje obvyklí rozsah. Vzhľadom na množstvo testovaných parametrov je to pochopiteľné.

Prezentační úroveň technické zprávy

Práca je dobre štrukturovaná, členená do logických celkov. Pozitívne hodnotím teoretickú časť, ktorá poskytuje podrobné vysvetlenie fungovania “offloadov” v linuxovom jadre a nástroje použité na kontinuálnu integráciu a výkonnostné testovanie. Popis nameraných výsledkov a použitá metrika v kapitole 6 sú mierne zložitejšie a nie je jednoduché z testovania vyvodiť závery. V kapitole je zložitejšia orientácia a pochopenie grafov a testovacej metriky je náročnejšie. Kladne hodnotím, že je práca písaná v Anglickom jazyku.

85
Formální úprava technické zprávy

Po formálnej stránke práca spĺňa všetky požadované náležitosti. Po jazykovej stránke je text v poriadku, po typografickej stránke práca pôsobí ucelene.

93
Práce s literaturou

Autor uvádza všetky relevantné zdroje. Práca využíva 53 informačných zdrojov rôznych typov a práca s nimi je v poriadku. Prevzaté časti textu sú riadne označené.

91
Realizační výstup

Práca sa zaoberá výkonnostným testovaním sieťových kariet v prostredí linuxového jadra. Po teoretickom úvode nasleduje voľba testovacieho prostredia, výber a konfigurácia nástrojov pre kontinuálnu integráciu. V testovacej časti je zahrnuté veľké množstvo rôznych parametrov ako napr. protokoly IPv4 a IPv6, rozdiely vo výkonnosti rôznych architektúr a sieťových kariet.

V práci by som ocenil doplnenie testovacej matice, testovanie všetkých zvolených architektúr voči všetkým testovaným sieťovým kartám. Takisto by som navrhoval podrobnejší popis testovacieho prostredia.

92
Využitelnost výsledků

Výsledky práce sú využiteľné v praxi. Jednotlivé fázy testovania a použité nástroje sú podrobne popísané a teda dobre reprodukovateľné. Výsledky práce sú vhodné na kontinuálne testovanie výkonnosti sieťových kariet.

Náročnost zadání

Evaluation level: průměrně obtížné zadání

Diplomová práca sa zaoberá problematikou, ktorej kvalitné spracovanie vyžaduje dôkladné pochopenie a prehľad v oblasti linuxového jadra a automatizovaného testovania výkonnosti. Obtiažnosť zadania vyhovuje požiadavkám diplomovej práce.

Topics for thesis defence:
  1. Z akého dôvodu nastáva pokles výkonnosti pri protokole IPv6 oproti protokolu IPv4?
Points proposed by reviewer: 91

Grade proposed by reviewer: A

Responsibility: Mgr. et Mgr. Hana Odstrčilová