Binární kód (strojový kód) představuje finální fázi zpracování programu, kdy jsou abstraktní matematické operace a optimalizované grafy přeloženy do nízkoúrovňových instrukcí, kterým přímo rozumí procesor nebo akcelerátor (CPU, GPU, TPU). V kontextu knihoven jako JAX a kompilátoru XLA je generování binárního kódu klíčem k dosahování maximálního možného výpočetního výkonu.

Celý proces transformace lidsky čitelného kódu v Pythonu až po spuštění binárního kódu na hardwaru probíhá v několika krocích:

1. **Python / NumPy kód**: Vývojář píše kód pomocí známých API a polí (arrays).
2. **Trasa a HLO graf**: Pomocí JIT kompilace (`jax.jit`) se vytvoří abstraktní mezivrstva – tzv. [[hlo graf|HLO graf (High-Level Optimizer)]].
3. **Optimalizace XLA**: Kompilátor XLA graf optimalizuje (např. provádí fúzi operací) a přizpůsobuje jej konkrétní hardwarové architektuře.
4. **Generování binárního kódu**: XLA využívá backendy (např. LLVM pro CPU/GPU nebo proprietární kompilátory pro TPU), které HLO transformují do nativního strojového (binárního) kódu.

Na rozdíl od interpretovaného Pythonu nebo standardního spouštění operací po jedné přináší binární kód generovaný přes XLA zásadní výhody:

• Specifičnost pro daný hardware: Vygenerovaný strojový kód využívá specifické instrukční sady cílového zařízení – například vektorové instrukce AVX na procesorech, Tensor Cores na GPU od Nvidie nebo maticové jednotky (MXU) na Google TPU.
• Odstranění režie interpretu: Spouštění binárního kódu probíhá přímo na silikonové úrovni bez nutnosti režie spojené s během interpretu jazyka Python.
• Efektivní správa paměti: Sestavený binární kód má přesně alokovanou paměť pro mezivýsledky, což minimalizuje přístupy do pomalejší operační paměti.

Protože kompilace HLO grafu do binárního kódu (tzv. *cold start*) může chvíli trvat, JAX a XLA využívají interní kompilační mezipaměť (Cache):

import jax
import jax.numpy as jnp
 
@jax.jit
def compute(x):
    return x * x + 2.0
 
# První volání: Spustí se trasování, HLO optimalizace a generování binárního kódu
res1 = compute(jnp.array([1.0, 2.0]))
 
# Druhá a další volání: Využijí již hotový binární kód z cache, spuštění je okamžité
res2 = compute(jnp.array([3.0, 4.0]))

Generování binárního kódu prostřednictvím XLA představuje most mezi vysokou úrovní abstrakce v Pythonu a surovým výkonem moderních hardwarových akcelerátorů. Umožňuje výzkumníkům v oblasti strojového učení psát flexibilní kód, aniž by museli obětovat rychlost kompilovaných jazyků.

• Oficiální dokumentace XLA
• Oficiální dokumentace JAX