Detail předmětu

Zpracování přirozeného jazyka (v angličtině)

FIT-ZPJaAk. rok: 2020/2021

Východiska počítačového zpracování přirozeného jazyka, historická perspektiva, statistické metody zpracování přirozeného jazyka a aktuální přístupy založené na strojovému učení, zejména na modelech umělých neuronových sítí. Význam jednotlivých slov, lexikologie a lexikografie, slovníkové významy a neuronové modely pro výpočet vektorové reprezentace slov, klasifikace významů slov a jejich automatická inference. Složková a závislostní syntaxe, syntaktická víceznačnost, neuronové parsery vytvářející závislostní stromy. Jazykové modelování a jeho využití v obecných architekturách. Strojový překlad, historický pohled na statistické modely překladu, překladače založené na neuronových sítích a způsoby jejich vyhodnocování. Modely typu seq2seq a mechanismy pozornosti v neuronových modelech. Odpovídání na otázky v přirozeném jazyce s využitím neuronových modelů, komponenty pro vyhledávání informací v textu, porozumění textu, učení modelů z obecných textů. Klasifikace textů a její moderní aplikace, konvoluční neuronové sítě pro klasifikaci vět. Jazykově nezávislé reprezentace, texty ze sociálních sítí vymykající se normě, reprezentace částí slov, modely reprezentující informace z částí slov. Kontextuální reprezentace a předtrénování kontextuálně-závislých jazykových modulů. Sítě typu transformer a self-attention pro generativní modely. Komunikační agenti a generování přirozeného jazyka. Koreference a její automatické zpracování, souvislost s dalšími komponentami porozumění textu.

Jazyk výuky

angličtina

Počet kreditů

5

Výsledky učení předmětu

Studenti se v rámci předmětu seznámí s problematikou počítačového zpracování přirozeného jazyka a porozumí celé škále modelů neuronových sítí, které jsou v oblasti NLP běžně aplikovány. Pochopí rovněž základní principy neuronových realizací mechanismů pozornosti a modelů pro reprezentaci významu promluv a tomu, jak mohou být tyto modulární komponenty kombinovány při tvorbě současných systémů NLP. Budou schopni implementovat a vyhodnocovat běžné neuronové modely pro různé aplikace NLP.
Studenti se zdokonalí v praktickém užívání nástrojů pro práci s modely hlubokých neuronových sítí a se zpracováním textových dat.

Prerekvizity

Dobrá znalost modelů umělých neuronových sítí a programování v jazyce Python.

Způsob a kritéria hodnocení

  • Půlsemestrální test - až 9 bodů
  • Individuální projekt - až 40 bodů
  • Závěrečná písemná zkouška - až 51 bodů

Podmínky zápočtu:
  • Zpracování individuálního projektu

Učební cíle

Porozumět počítačovému zpracování přirozeného jazyka a naučit se aplikovat moderní metody strojového učení v této oblasti. Seznámit se s pokročilými architekturami hlubokých neuronových sítí, které jsou úspěšně používány v rozličných úkolech zpracování přirozeného jazyka. Porozumět použití neuronových sítí pro sekvenční jazykové modelování, jejich použití pro podmíněné jazykové modely a porozumění přístupů kombinujících tyto techniky s jinými mechanismy v pokročilých aplikacích.

Vymezení kontrolované výuky a způsob jejího provádění a formy nahrazování zameškané výuky

Kontrolovaná výuka zahrnuje půlsemestrální test, individuální projekt a písemnou zkoušku. Půlsemestrální test nemá náhradní termín, závěrečná zkouška má dva možné náhradní termíny.

Doporučená literatura

Géron, Aurélien. Hands-on machine learning with Scikit-Learn and TensorFlow: concepts, tools, and techniques to build intelligent systems. " O'Reilly Media, Inc.", 2017. (EN)
Raaijmakers, Stephan. Deep Learning for Natural Language Processing. Manning, 2019. (EN)
Goldberg, Yoav. "Neural network methods for natural language processing." Synthesis Lectures on Human Language Technologies 10, no. 1 (2017): 1-309. (EN)
Deng, Li, and Yang Liu, eds. Deep Learning in Natural Language Processing. Springer, 2018. (EN)

Zařazení předmětu ve studijních plánech

  • Program IT-MGR-2 magisterský navazující

    obor MBS , libovolný ročník, zimní semestr, volitelný
    obor MBI , libovolný ročník, zimní semestr, povinně volitelný
    obor MIS , libovolný ročník, zimní semestr, volitelný
    obor MIN , libovolný ročník, zimní semestr, volitelný
    obor MMM , libovolný ročník, zimní semestr, volitelný
    obor MGM , libovolný ročník, zimní semestr, volitelný

  • Program IT-MGR-2 magisterský navazující

    obor MGMe , libovolný ročník, zimní semestr, volitelný

  • Program IT-MGR-2 magisterský navazující

    obor MPV , libovolný ročník, zimní semestr, volitelný
    obor MSK , libovolný ročník, zimní semestr, volitelný

  • Program MITAI magisterský navazující

    specializace NBIO , libovolný ročník, zimní semestr, volitelný
    specializace NISD , libovolný ročník, zimní semestr, volitelný
    specializace NISY , libovolný ročník, zimní semestr, volitelný
    specializace NIDE , libovolný ročník, zimní semestr, volitelný
    specializace NCPS , libovolný ročník, zimní semestr, volitelný
    specializace NSEC , libovolný ročník, zimní semestr, volitelný
    specializace NMAT , libovolný ročník, zimní semestr, volitelný
    specializace NGRI , libovolný ročník, zimní semestr, volitelný
    specializace NNET , libovolný ročník, zimní semestr, volitelný
    specializace NVIZ , libovolný ročník, zimní semestr, volitelný
    specializace NSEN , libovolný ročník, zimní semestr, volitelný
    specializace NMAL , libovolný ročník, zimní semestr, volitelný
    specializace NHPC , libovolný ročník, zimní semestr, volitelný
    specializace NVER , libovolný ročník, zimní semestr, volitelný
    specializace NEMB , libovolný ročník, zimní semestr, volitelný
    specializace NADE , libovolný ročník, zimní semestr, volitelný
    specializace NSPE , libovolný ročník, zimní semestr, povinný

  • Program IT-MGR-1H magisterský navazující

    obor MGH , libovolný ročník, zimní semestr, doporučený

Typ (způsob) výuky

 

Přednáška

26 hod., nepovinná

Vyučující / Lektor

Osnova

  1. Úvod, historie oboru, aplikace a moderní přístupy založené na hlubokém učení
  2. Významy slov a jejich vektorová reprezentace
  3. Závislostní syntaxe
  4. Jazykové modely
  5. Strojový překlad
  6. Modely typu seq2seq a pozornost (attention)
  7. Odpovídání na otázky v přirozeném jazyce
  8. Konvoluční neuronové sítě pro klasifikaci vět
  9. Informace z částí slov: modely typu subword
  10. Modelování kontextů použití: kontextuální reprezentace a předtrénování
  11. Sítě typu transformer a self-attention pro generativní modely
  12. Generování přirozeného jazyka
  13. Koreference a její automatické zpracování

Projekt

26 hod., povinná

Vyučující / Lektor

Osnova

  • Individuálně zadávaný projekt