ChatGPT

ChatGPT (Chat Generative Pre-trained Transformer) je chatbot založený na velkém jazykovém modelu (LLM) vyvinutý společností OpenAI. Od svého uvedení v listopadu 2022 způsobil revoluci v tom, jak lidé interagují s počítači, generují text, programují a vyhledávají informace.

Z technického hlediska nejde o „vyhledávač“, ale o prediktivní model, který na základě kontextu odhaduje nejpravděpodobnější následující slovo (token).

Architektura a fungování

ChatGPT stojí na třech technologických pilířích:

1. Transformer

Je to typ architektury hlubokého učení, která využívá mechanismus pozornosti (Attention). To umožňuje modelu chápat vztahy mezi slovy v dlouhých větách, i když jsou od sebe daleko (např. shoda podmětu s přísudkem na konci odstavce).

2. Generative Pre-training (Předtrénování)

Model byl trénován na obrovském množství textových dat z internetu (knihy, články, kód). Během této fáze se naučil gramatiku, fakta i různé styly psaní.

3. RLHF (Reinforcement Learning from Human Feedback)

Klíčový krok, který udělal z ChatGPT užitečného pomocníka. Lidé hodnotili odpovědi modelu, čímž ho učili:

Odpovídat slušně a bezpečně.
Dodržovat instrukce uživatele.
Přiznat chybu nebo odmítnout nevhodný dotaz.

Verze modelu

OpenAI modely neustále vyvíjí. Každá nová verze vyžaduje výkonnější hardware od firmy NVIDIA, vyráběný v TSMC.

Verze	Hlavní přínos
GPT-3.5	První verze dostupná zdarma, rychlá, ale náchylná k chybám.
GPT-4	Multimodální model (chápe i obrázky), mnohem vyšší přesnost a logické uvažování.
GPT-4o / o1	Modely s nativní podporou hlasu, videa a schopností hlubšího „přemýšlení“ před odpovědí.

Omezení a rizika

Halucinace: Model může s naprostou jistotou tvrdit věc, která není pravdivá (protože „statisticky“ text dává smysl).
Znalostní cutoff: Modely mají datum, po kterém už nebyly trénovány (pokud nemají přístup k internetu v reálném čase).
Ochrana soukromí: Data vložená do chatu mohou být použita k dalšímu trénování, pokud to uživatel nezakáže.

Význam pro IT průmysl

ChatGPT změnil několik oblastí:

Programování: Nástroje jako GitHub Copilot (založené na GPT) píší části kódu za vývojáře.
Obsahová tvorba: Automatizace psaní e-mailů, článků a marketingových textů.
Zákaznická podpora: Inteligentní boti, kteří skutečně rozumí dotazu zákazníka.

— Související pojmy: Hluboké učení, SoC, TSMC, Broadcom (síťové prvky pro AI)