====== BERT (Bidirectional Encoder Representations from Transformers) ======

**BERT** je revoluční model v oblasti zpracování přirozeného jazyka (NLP), který představil Google v roce 2018. Způsobil zásadní průlom v tom, jak stroje rozumí kontextu lidské řeči, a stal se základem pro moderní vyhledávání Google.

===== 1. Co dělá BERT unikátním? =====

Před příchodem BERT modely (jako LSTM nebo Word2Vec) četly text lineárně – buď zleva doprava, nebo zprava doleva. BERT je **obousměrný** (bidirectional).

  * **Kontext z obou stran:** BERT analyzuje slovo v souvislosti se všemi slovy, která mu předcházejí i následují, a to ve všech vrstvách najednou.
  * **Příklad:** Ve větách "Bankovní účet" a "Břeh řeky (bank)" by starší modely mohly slovo "bank" interpretovat stejně. BERT díky okolním slovům pochopí rozdílný význam.



===== 2. Architektura =====

BERT je postaven na architektuře **Transformer**, konkrétně využívá pouze část zvanou **Encoder**. 

Existují dvě základní verze:
  * **BERT Base:** 12 vrstev (blocks), 110 milionů parametrů.
  * **BERT Large:** 24 vrstev, 340 milionů parametrů.

===== 3. Jak se BERT trénuje? =====

BERT nebyl trénován na konkrétní úkol (jako překlad), ale na porozumění jazyku jako takovému pomocí dvou technik:

==== A. Masked Language Model (MLM) ====
V textu je náhodně skryto (zamaskováno) 15 % slov a úkolem modelu je podle kontextu uhodnout, co tam patří. 
//Příklad: "Pes [MASK] na kočku." -> BERT doplní "štěká".//

==== B. Next Sentence Prediction (NSP) ====
Model dostane dvě věty a musí určit, zda druhá věta v původním textu skutečně následovala po té první. To pomáhá pochopit vztahy mezi celými bloky textu.



===== 4. Fine-tuning (Doladění) =====

Hlavní výhodou BERT je, že jej můžete vzít jako "hotový mozek" (Pre-trained model) a velmi rychle jej doučit na specifický úkol s minimem vlastních dat.

  * **Analýza sentimentu:** Je recenze pozitivní nebo negativní?
  * **Named Entity Recognition (NER):** Vyhledávání jmen, míst a organizací v textu.
  * **Question Answering:** Odpovídání na otázky na základě přečteného odstavce.

===== 5. BERT vs. GPT =====

Ačkoliv jsou oba modely založeny na Transformerech, mají jiný účel:

^ Vlastnost ^ BERT ^ GPT ^
| **Zaměření** | Porozumění textu (NLU) | Generování textu (NLG) |
| **Směr** | Obousměrný (čte vše najednou) | Jednosměrný (čte zleva doprava) |
| **Využití** | Vyhledávání, klasifikace, analýza | Chatboti, psaní textů, kreativita |

----
//Související články://
  * [[it:ai:transformer|Architektura Transformer]]
  * [[it:ai:nlp|Zpracování přirozeného jazyka (NLP)]]
  * [[it:ai:word_embeddings|Word Embeddings (Word2Vec, GloVe)]]

//Tagy: {{tag>ai nlp google transformer bert}}//