NPU (Neural Processing Unit – *neurální procesorová jednotka*) je specializovaný typ mikroprocesoru, který je navržen a optimalizován pro efektivní provádění výpočtů souvisejících s umělou inteligencí (AI), strojovým učením (Machine Learning) a hlubokým učením (Deep Learning).

Zatímco klasický procesor (CPU) je univerzální mozek počítače a grafická karta (GPU (Graphics Processing Unit)) exceluje v paralelním zpracování obrazu a maticových operacích, NPU je hardwarový akcelerátor přímo stvořený pro neuronové sítě.

Tradiční procesory a grafické karty dokážou úlohy umělé inteligence počítat také, ale za cenu vysoké spotřeby energie a velkého vytížení hlavního systému. S nástupem generativní AI, lokálních jazykových modelů (LLM), zpracování přirozeného jazyka (NLP) v reálném čase a pokročilého zpracování obrazu přímo v koncových zařízeních (telefon, notebook) vznikla potřeba: * Energetické efektivity: NPU dokáže provádět miliony operací s nízkou přesností (např. celočíselné operace INT8 namísto plovoucí řádové čárky FP32) s minimálním odběrem energie. * On-device AI (Lokální zpracování): Umožňuje spouštět AI modely přímo v zařízení bez nutnosti odesílat data do cloudových datacentre, což zvyšuje rychlost, soukromí a bezpečnost. * Odlehčení CPU a GPU: Uvolňuje hlavní výpočetní výkon pro běžící operační systém a aplikace.

Architektura NPU je postavena na masivně paralelním zpracování dat, která jsou typická pro neuronové sítě. * Maticové operace: Většina výpočtů v AI se skládá z násobení a sčítání matic (MAC operace – Multiply-Accumulate). NPU obsahuje tisíce specializovaných výpočetních jednotek optimalizovaných právě pro tento typ instrukcí. * Datový tok (Dataflow): Minimalizuje čtení a zápis do pomalejší operační paměti tím, že drží mezivýsledky v rychlé lokální vyrovnávací paměti (SRAM).

* Osobní počítače (AI PC): Moderní procesory (např. Intel Core Ultra, AMD Ryzen AI, Apple Silicon řady M) integrují NPU přímo do čipu (SoC (System on Chip)). Slouží k funkcím jako je živé přepisování řeči, pokročilá korekce očí při videohovorech, generování obrázků na pozadí nebo lokální AI asistenti (např. Copilot). * Mobilní telefony: Čipsety od firem jako MediaTek (řada Dimensity), Qualcomm (Snapdragon) nebo Apple využívají NPU pro okamžité zpracování fotografií, rozpoznávání obličejů, noční režimy focení a prediktivní psaní. * Edge AI a IoT: Autonomní vozidla, průmyslové kamery a senzory, které musí vyhodnocovat okolní prostředí v zlomcích sekundy bez závislosti na cloudu.

* Procesor (CPU) (CPU) * SoC (System on Chip) (System on a Chip) * MediaTek

hardware ai npu processors machinelearning