Detail předmětu

Introduction to Neural Models for AI

FIT-INAaAk. rok: 2026/2027

Kurz umožňuje studentům porozumět základním stavebním kamenům modelů umělé inteligence současné generace, které vycházejí z rozsáhlých jazykových modelů a chatbotů.

Kurz začíná základními pojmy, od lineárních modelů přes vkládání slov až po neuronové jazykové modely, jako jsou transformery, a jejich aplikace na konkrétní úkoly v oblasti zpracování přirozeného jazyka.

V závěrečných přednáškách se zabýváme pokročilými tématy, jako je ladění instrukcí, řetězec myšlenek a učení s posilováním.

Kurz propojuje teoretické pojmy s praktickými cvičeními (Jupyter Notebooks, laboratoře) a postupně vede k finálním konkrétním projektům.

Jazyk výuky

angličtina

Počet kreditů

5

Garant předmětu

prof. Dr. Ing. Jan Černocký

Zajišťuje ústav

Ústav počítačové grafiky a multimédií (UPGM)

Vstupní znalosti

Základy programování (Python, C).

Základy teorie pravděpodobnosti, statistiky a matematické analýzy.

Předmět se zabývá také základními pojmy z oblasti teorie pravděpodobnosti, statistiky a matematické analýzy, avšak určité předchozí znalosti v těchto oblastech budou výhodou.

Pravidla hodnocení a ukončení předmětu

  1. Závěrečná zkouška bude písemná, pokud bude počet studentů příliš vysoký. Ústní zkouška, pokud bude počet studentů kolem 30. (52 bodů)
  2. Projekt (24 bodů) - metoda hodnocení bude určena na základě počtu studentů a skupin.
  3. Dva testy v rámci kurzu budou považovány za průběžné zkoušky. Budou to otázky s výběrem odpovědí (MCQ) v délce 30 minut s bodovou penalizací (~30 min). (16 bodů).
  4. Testy v rámci kurzu, které nejsou průběžnými zkouškami (formát MCQ), budou mít poloviční váhu průběžných zkoušek, protože budou kratší (~15 min) (8 bodů).

Učební cíle

Allow students to understand the fundamental building blocks of current generation AI models that are based on large language models and chat bots. The course builds theoretical concepts with practical sessions (jupyter notebooks, labs) incrementally leading to final tangible projects.

Základní literatura

Deep Learning - Foundations and Concepts. Springer https://link.springer.com/book/10.1007/978-3-031-45468-4
Deep learning. MIT Press. https://www.deeplearningbook.org/

Doporučená literatura

Machine Learning with PyTorch and Scikit-Learn. Packt Publishing Ltd. ISBN-10: 1801819319 ISBN-13: 978-1801819312. https://github.com/rasbt/machine-learning-book
Natural Language Processing with Transformers. O'Reilly https://github.com/nlp-with-transformers

Zařazení předmětu ve studijních plánech

  • Program BIT bakalářský 2 ročník, letní semestr, volitelný
  • Program BIT bakalářský 2 ročník, letní semestr, volitelný

Typ (způsob) výuky

 

Přednáška

26 hod., nepovinná

Vyučující / Lektor

Santosh Kesiraju, Ph.D.
Ing. Martin Fajčík, Ph.D.
prof. Dr. Ing. Jan Černocký

Osnova

  1. Introduction to present-day AI
  2. Perceptron model 
  3. Word embeddings: purpose, training, interpretation
  4. Multi-layer perceptron (MLPs)
  5. Feedforward NN for Language Modelling
  6. Optimization in MLPs
  7. Recurrent NN for LM
  8. Transformer LM
  9. Fine-tuning pre-trained LMs
  10. Instruction tuning and Chain of thought
  11. Fine-tuning with human preferences
  12. Reinforcement learning - Agentic systems
  13. Poster session - project demonstrations (depending on number of students) or Guest lecture

Seminář

13 hod., nepovinná

Vyučující / Lektor

prof. Dr. Ing. Jan Černocký

Projekt

12 hod., nepovinná

Vyučující / Lektor

prof. Dr. Ing. Jan Černocký

Individuální příprava na přednášku

26 hod., nepovinná

Vyučující / Lektor

prof. Dr. Ing. Jan Černocký

Individuální příprava na cvičení

13 hod., nepovinná

Vyučující / Lektor

prof. Dr. Ing. Jan Černocký

Individuální příprava na vypracování projektu

24 hod., nepovinná

Vyučující / Lektor

prof. Dr. Ing. Jan Černocký

Individuální příprava na závěrečnou zkoušku

24 hod., nepovinná

Vyučující / Lektor

prof. Dr. Ing. Jan Černocký