====== Neural ODEs (Neural Ordinary Differential Equations) ======

**Neural ODEs** představují revoluční přístup k architektuře neuronových sítí, kde namísto specifikování posloupnosti diskrétních skrytých vrstev definujeme spojitý vývoj stavu sítě pomocí **obyčejných diferenciálních rovnic (ODE)**.

Tento koncept byl představen v roce 2018 (Chen et al.) a získal ocenění za nejlepší příspěvek na prestižní konferenci NeurIPS.

===== Rozdíl mezi klasickou sítí a Neural ODE =====

==== Klasické sítě (ResNet) ====
V běžných reziduálních sítích se stav mění v diskrétních krocích:
$h_{t+1} = h_t + f(h_t, \theta_t)$
Kde $h_t$ je stav v dané vrstvě a $f$ je funkce (vrstva) s parametry $\theta$.

==== Neural ODEs ====
V Neural ODEs tento vztah zobecňujeme do spojitého času. Změnu stavu popisujeme derivací:
$$\frac{dh(t)}{dt} = f(h(t), t, \theta)$$
Pro získání výstupu v čase $T$ pak síť "řeší" tento systém od počátečního stavu $h(0)$ pomocí numerického řešiče (ODE Solver).



===== Hlavní výhody Neural ODEs =====

  * **Paměťová efektivita:** Při trénování není nutné ukládat mezivýsledky všech vrstev pro zpětnou propagaci (backpropagation). Neural ODEs mohou počítat gradienty pomocí metody "adjoint sensitivity", což vyžaduje konstantní paměť bez ohledu na hloubku "sítě".
  * **Spojitá data a časové řady:** Ideální pro modelování dat, která přicházejí v nepravidelných časových intervalech (např. lékařské záznamy nebo finanční trhy), protože model může počítat stav v libovolném čase $t$.
  * **Adaptivní přesnost:** Během testování (inference) lze měnit přesnost řešiče. Pro rychlý odhad zvolíme nižší přesnost, pro kritické aplikace vysokou přesnost, aniž by bylo nutné síť přetrénovat.

===== Využití v praxi =====

^ Oblast ^ Aplikace ^
| **Fyzikální simulace** | Modelování pohybu tekutin, planetárních drah nebo robotiky, kde platí fyzikální zákony. |
| **Medicína** | Analýza nepravidelně měřených dat od pacientů (např. srdeční tep v čase). |
| **Generativní modely** | Základ pro spojité normalizační toky (Continuous Normalizing Flows), které transformují jednoduché distribuce na komplexní data. |



===== Výzvy a omezení =====

  * **Výpočetní náročnost:** Numerické řešení diferenciálních rovnic může být pomalejší než dopředný průchod klasickou sítí, zejména pokud je dynamika systému komplexní.
  * **Stabilita řešiče:** Výběr správného řešiče (např. Eulerova metoda vs. Runge-Kutta) je kritický pro přesnost a rychlost modelu.

---
//Související pojmy: [[hluboke_uceni|Hluboké učení]], [[vertex_ai|Vertex AI]], [[architektury_cpu|Architektury CPU]] (vliv na efektivitu výpočtů)//