Zpracování přirozeného jazyka (NLP)

Zpracování přirozeného jazyka (Natural Language Processing – NLP) je klíčová a extrémně rychle se rozvíjející disciplína na pomezí informatiky, umělé inteligence (AI) a počítačové lingvistiky. Jejím cílem je naučit počítače číst, analyzovat, chápat a generovat lidský jazyk (ať už psaný text, nebo mluvené slovo) způsobem, který je smysluplný a užitečný.

Zatímco tradiční programování vyžaduje striktní a jednoznačnou syntaxi (jako C++ nebo Python), lidský jazyk je plný nejednoznačností, dvojsmyslů, sarkasmu, idiomů a gramatických výjimek. NLP je mostem, který převádí tento „chaotický“ lidský projev do strukturovaných dat, kterým dokáže algoritmus porozumět.

Proces komunikace se dělí na porozumění a tvorbu. Stejně tak se NLP historicky dělí na dvě hlavní větve:

• NLU (Natural Language Understanding – Porozumění jazyku): Zaměřuje se na čtení s porozuměním. Počítač analyzuje text a extrahuje z něj význam, záměr uživatele (intent) a entity. Zjišťuje odpověď na otázku: „Co se mi tento text snaží říct?“
• NLG (Natural Language Generation – Generování jazyka): Zaměřuje se na tvorbu textu. Na základě strukturovaných dat nebo předchozího kontextu počítač formuluje plynulé, gramaticky správné a logické věty. Názorným příkladem NLG je odpověď od ChatGPT.

Než může starší analytický model nebo vyhledávač z textu něco vyvodit, musí surový text projít sekvencí úprav, takzvanou NLP Pipeline. Zde jsou nejčastější kroky:

• Tokenizace (Tokenization): Rozsekání dlouhého textu na nejmenší smysluplné jednotky – takzvané tokeny. Obvykle to znamená rozdělení věty na jednotlivá slova a interpunkční znaménka.
• Odstranění stop-slov (Stop words removal): Odfiltrování slov, která nemají téměř žádný sémantický význam a vyskytují se v textu příliš často (např. spojky a předložky jako „a“, „ale“, „se“, „v“, „na“). Tím se ušetří výpočetní výkon.
• Lematizace a Stemming: Převod slov na jejich základní tvar. Stemming hrubě oseká předpony a přípony (např. „rybářům“ → „ryb“), zatímco sofistikovanější Lematizace bere v potaz slovník a převede slovo na jeho kořen (např. „byl“ → „být“).
• Určování slovních druhů (POS Tagging): Algoritmus u každého tokenu určí, zda se jedná o podstatné jméno, sloveso, přídavné jméno atd. To je klíčové pro pochopení kontextu věty.
• Rozpoznávání jmenných entit (NER – Named Entity Recognition): Identifikace a kategorizace klíčových prvků v textu. Systém najde v textu jména osob, názvy firem, lokace, data nebo finanční částky (např. „Brno“ → [LOKACE], „Apple“ → [ORGANIZACE]).

Technologie NLP prošla od svých počátků obrovskou revolucí. Změnil se způsob, jakým počítače jazyk chápou.

Systémy založené na tvrdě nakódovaných gramatických pravidlech (if-then-else) a rozsáhlých slovnících, které tvořili lingvisté.

• Příklad: První chatbot ELIZA (1966), který fungoval jen na hledání klíčových slov a jejich mechanickém obracení do otázek.
• Nevýhoda: Lidský jazyk je příliš složitý, výjimky nelze pokrýt pravidly.

Nástup strojového učení (Machine Learning). Namísto psaní pravidel lingvisty se do počítače nahrály obrovské databáze textů (korpusy). Algoritmy (např. Naivní Bayes, Skryté Markovovy modely) počítaly pravděpodobnost, s jakou se slova vyskytují vedle sebe. Tímto způsobem fungovaly první úspěšné spam filtry.

Počítače začaly využívat neuronové sítě a reprezentovat slova jako složité vektory v mnohorozměrném matematickém prostoru (technologie Word2Vec). Počítač sice nechápe význam slova „Král“, ale ví, že z matematického hlediska k němu má blízko „Muž“ a „Trůn“. Umožnilo to řešit matematické rovnice typu: Král - Muž + Žena = Královna.

Zlomový okamžik přišel v roce 2017 s architekturou Transformer (vytvořenou společností Google). Tento algoritmus zavedl mechanismus „Self-Attention“ (Pozornost). Prohlíží celou větu najednou (nikoliv slovo po slovu) a určuje, jaké slovo souvisí s jakýmkoli jiným slovem v textu, i když jsou daleko od sebe. Na této technologii stojí moderní giganti jako rodina modelů GPT (OpenAI) nebo BERT (Google).

S prvky NLP se dnes setkáváme prakticky neustále:

• Strojový překlad (Machine Translation): Nástroje jako Google Translate nebo DeepL, které plynule překládají celé věty při zachování kontextu.
• Analýza sentimentu: Firmy automaticky skenují miliony tweetů a uživatelských recenzí, aby zjistily, zda se o jejich nové službě mluví pozitivně, negativně, nebo neutrálně.
• Extrakce informací a sumarizace: Lékařský software, který přečte 500stránkový chorobopis a vytáhne z něj do úhledné tabulky pouze podané léky a naměřený krevní tlak, nebo vygeneruje stručné jednostránkové shrnutí.
• Hlasoví asistenti: Siri, Alexa a Google Assistant využívají NLU pro pochopení mluveného příkazu a NLG pro vygenerování hlasové odpovědi.