Multimodální AI je typ systému umělé inteligence, který dokáže zpracovávat a propojovat informace z různých typů datových zdrojů, neboli modalit. Mezi tyto modality patří text, obrázky, video, zvuk, řeč nebo dokonce data ze senzorů.

Namísto toho, aby model viděl svět jen jako posloupnost písmen, dokáže „vidět“ obrázek a „slyšet“ tón hlasu, přičemž chápe vztahy mezi těmito vstupy.

Základem je schopnost převést různé typy dat do společného matematického prostoru (tzv. embeddingy).

• Kodéry (Encoders): Každá modalita má svůj vlastní „přijímač“ (např. Vision Transformer pro obrázky).
• Fúze (Fusion): Systém spojí informace z různých kodérů do jednoho celku.
• Dekodér (Decoder): Na základě pochopeného kontextu vygeneruje odpověď (textovou, obrazovou či zvukovou).

• Text + Obrázek: Analýza rentgenových snímků s popisem diagnózy, nebo generování obrázků z textu (DALL-E, Midjourney).
• Text + Audio: Přepis řeči s pochopením sarkasmu nebo emocí, okamžitý překlad mluveného slova.
• Video + Text: Automatické vytváření titulků nebo vyhledávání konkrétních momentů ve videu („Najdi část, kde pes skáče do bazénu“).

1. **OpenAI (GPT-4o):** "Omni" model, který reaguje v reálném čase na hlas i video.
2. **Google (Gemini 1.5 Pro):** Model s obrovským kontextovým oknem, schopný analyzovat hodinová videa najednou.
3. **Anthropic (Claude 3.5 Sonnet):** Špičkový model v analýze grafů, schémat a vizuálního programování.

—

Multimodalita je klíčem k dosažení AGI (obecné umělé inteligence). Aby AI mohla skutečně pomáhat v reálném světě (např. v robotech), musí být schopna vnímat prostor a zvuk stejně přirozeně jako textové instrukce.

Viz také: LLM, Computer Vision, Neural Networks