ChatGPT (Chat Generative Pre-trained Transformer) je chatbot založený na velkém jazykovém modelu (LLM) vyvinutý společností OpenAI. Od svého uvedení v listopadu 2022 způsobil revoluci v tom, jak lidé interagují s počítači, generují text, programují a vyhledávají informace.

Z technického hlediska nejde o „vyhledávač“, ale o prediktivní model, který na základě kontextu odhaduje nejpravděpodobnější následující slovo (token).

ChatGPT stojí na třech technologických pilířích:

Je to typ architektury hlubokého učení, která využívá mechanismus pozornosti (Attention). To umožňuje modelu chápat vztahy mezi slovy v dlouhých větách, i když jsou od sebe daleko (např. shoda podmětu s přísudkem na konci odstavce).

Model byl trénován na obrovském množství textových dat z internetu (knihy, články, kód). Během této fáze se naučil gramatiku, fakta i různé styly psaní.

Klíčový krok, který udělal z ChatGPT užitečného pomocníka. Lidé hodnotili odpovědi modelu, čímž ho učili:

• Odpovídat slušně a bezpečně.
• Dodržovat instrukce uživatele.
• Přiznat chybu nebo odmítnout nevhodný dotaz.

OpenAI modely neustále vyvíjí. Každá nová verze vyžaduje výkonnější hardware od firmy NVIDIA, vyráběný v TSMC.

• Halucinace: Model může s naprostou jistotou tvrdit věc, která není pravdivá (protože „statisticky“ text dává smysl).
• Znalostní cutoff: Modely mají datum, po kterém už nebyly trénovány (pokud nemají přístup k internetu v reálném čase).
• Ochrana soukromí: Data vložená do chatu mohou být použita k dalšímu trénování, pokud to uživatel nezakáže.

ChatGPT změnil několik oblastí:

• Programování: Nástroje jako GitHub Copilot (založené na GPT) píší části kódu za vývojáře.
• Obsahová tvorba: Automatizace psaní e-mailů, článků a marketingových textů.
• Zákaznická podpora: Inteligentní boti, kteří skutečně rozumí dotazu zákazníka.

— Související pojmy: Hluboké učení, SoC, TSMC, Broadcom (síťové prvky pro AI)