Small Language Models (SLM) představují novou generaci modelů umělé inteligence, které se zaměřují na efektivitu, rychlost a specializaci. Na rozdíl od svých „velkých bratrů“ (LLM) mají výrazně méně parametrů, ale díky kvalitním datům dosahují překvapivých výsledků.

Zatímco modely jako GPT-4 pracují se stovkami miliard až biliony parametrů, SLM se obvykle pohybují v rozmezí 1 až 10 miliard parametrů.

• Lokální běh (On-device AI): Model lze spustit na běžném notebooku nebo mobilním telefonu bez internetu.
• Ochrana soukromí: Data neopouštějí zařízení, což je ideální pro bankovnictví nebo zdravotnictví.
• Nízké náklady: Provoz SLM vyžaduje zlomek elektrické energie a výpočetního výkonu oproti velkým modelům.
• Rychlost: Mají velmi nízkou latenci (okamžité generování textu).

• Microsoft Phi-3: Jeden z nejvýkonnějších modelů ve své třídě (3.8B parametrů).
• Google Gemma: Otevřené modely postavené na stejné technologii jako Gemini.
• Meta Llama 3 (8B): Velmi populární model pro lokální nasazení.
• Mistral 7B: Francouzský model, který odstartoval trend efektivních menších modelů.

Příklad: Firma může nasadit SLM pro analýzu interních smluv. Model běží na firemním serveru, nikdo zvenčí k datům nemá přístup a odpovědi jsou generovány okamžitě v rámci interního systému.

— Viz také:

• Rozcestník AI
• Jak hostovat modely lokálně