Coordinate Networks jsou typem neuronových sítí, které se neučí mapovat vstupy na výstupy v klasickém smyslu (např. klasifikace), ale slouží jako spojitá reprezentace objektu. Namísto ukládání obrázku jako pole pixelů se obraz uloží jako funkce $f(x, y) = \text{barva}$.

Tento přístup umožňuje reprezentovat signály (obraz, zvuk, 3D tvary) s teoreticky nekonečným rozlišením, omezeným pouze kapacitou sítě.

V tradičních reprezentacích jsou data diskrétní:

• Obraz: Mřížka pixelů $[i, j]$.
• 3D model: Síť trojúhelníků (mesh) nebo mřížka voxelů.

V Coordinate Network je vstupem sítě souřadnice (např. v prostoru nebo čase) a výstupem je hodnota signálu v tomto bodě:

• 2D: $(x, y) \rightarrow \text{RGB}$
• 3D: $(x, y, z) \rightarrow \text{hustota, barva}$ (základ pro NeRF)
• Audio: $(t) \rightarrow \text{amplituda}$

Pravděpodobně nejznámější aplikace coordinate networks. NeRF umožňuje vytvořit fotorealistickou 3D scénu z několika 2D fotografií. Síť se naučí funkci, která pro každý bod v prostoru a každý směr pohledu vrátí barvu a průhlednost.

Běžné aktivační funkce (jako ReLU) nejsou vhodné pro modelování detailů (hran, textur). SIREN používá jako aktivační funkci sinus, což umožňuje síti přesně reprezentovat i derivace signálu (důležité pro řešení fyzikálních rovnic nebo jemné detaily povrchů).

• Komprese dat: Ukládání videí nebo 3D map měst s minimálními nároky na prostor při zachování detailů.
• Medicínské zobrazování: Rekonstrukce detailních 3D modelů orgánů z omezeného počtu rentgenových snímků.
• Herní průmysl: Generování nekonečně detailních textur a prostředí v reálném čase bez nutnosti načítat obří texturové balíčky.

— Související pojmy: Hluboké učení, Neural ODEs, Hypernetworks, TSMC (hardwarová akcelerace pro NeRF)