NVIDIA Jetson je rodina vestavěných (embedded) výpočetních platforem od společnosti NVIDIA, navržených specificky pro Edge AI (umělou inteligenci na okraji sítě). Jedná se o výkonné systémy na modulu (SoC), které kombinují procesory ARM s vysoce výkonnými grafickými čipy (GPU) architektury NVIDIA.

Hlavním přínosem Jetsonu je schopnost spouštět moderní modely hlubokého učení lokálně, s nízkou spotřebou energie, bez nutnosti odesílat data ke zpracování do cloudu (např. na GCP).

Klíčem k výkonu Jetsonu je sdílená paměťová architektura mezi CPU a GPU a přítomnost specializovaných jader:

• CUDA Cores: Tisíce malých jader pro paralelní výpočty, která urychlují grafiku a matematické operace.
• Tensor Cores: Specializovaný hardware pro násobení matic, což je základní operace neuronových sítí. Drasticky zrychluje trénování a inferenci AI.
• NVDLA (NVIDIA Deep Learning Accelerator): Dedikovaný čip pro energeticky efektivní běh AI modelů.

Hardware Jetsonu by byl nevyužitelný bez softwarového balíku JetPack SDK, který obsahuje:

• Linux for Tegra (L4T): Operační systém založený na Ubuntu.
• CUDA Toolkit: Pro vývoj aplikací využívajících GPU.
• TensorRT: Knihovna pro vysoce výkonnou inferenci (běh) neuronových sítí, která optimalizuje modely pro konkrétní hardware Jetsonu.
• cuDNN: Knihovna primitiv pro hluboké neuronové sítě.

• Autonomní drony: Zpracování obrazu z kamer v reálném čase pro vyhýbání se překážkám bez latence internetu.
• Inteligentní video analýza (IVA): Sledování počtu osob, detekce obličejů nebo rozpoznávání SPZ přímo v kameře.
• Průmysl 4.0: Automatická kontrola kvality na výrobních linkách pomocí počítačového vidění.
• Zdravotnictví: Přenosné diagnostické přístroje využívající AI k okamžité analýze snímků.

Zatímco obě zařízení jsou SBC na bázi ARM, Jetson je v oblasti AI řádově výkonnější díky svému GPU. Raspberry Pi postrádá Tensor jádra, a proto je pro náročné modely (jako detekce objektů v 60 FPS) nevhodné, zatímco Jetson tyto úlohy zvládá s rezervou.

— Související pojmy: Hluboké učení, SBC, SoC, Architektura ARM, TSMC (výrobce čipů NVIDIA)