Obsah
Perceptron
Perceptron je základní stavební kámen neuronových sítí. V původní podobě se jedná o algoritmus pro binární klasifikaci (rozhodování mezi dvěma třídami), který na základě sady vstupů a jejich vah určí, zda „neuron“ vystřelí (výstup 1) nebo ne (výstup 0).
1. Matematický model (Jak to funguje)
Fungování perceptronu lze popsat jako proces o třech krocích:
- Vážený součet (Weighted Sum): Každý vstup ($x_i$) je vynásoben příslušnou váhou ($w_i$). Váha určuje sílu a důležitost daného vstupu. K celkovému součtu se přičítá hodnota bias ($b$), která umožňuje posunout rozhodovací hranici.
- $$z = \sum_{i=1}^{n} (w_i \cdot x_i) + b$$
- Aktivační funkce: Výsledek součtu projde funkcí. U původního perceptronu se jednalo o tzv. skokovou funkci (Heaviside step function).
- Pokud je výsledek kladný, výstup je 1.
- Pokud je výsledek záporný nebo nulový, výstup je 0.
2. Učení perceptronu
Perceptron se učí úpravou svých vah na základě chyb, které udělá. Proces učení je jednoduchý:
1. Předložíme modelu trénovací data. 2. Model vygeneruje odhad. 3. Pokud je odhad chybný, váhy se upraví směrem k opravě: * Pokud měl vyjít výsledek 1, ale vyšel 0, váhy se **zvýší**. * Pokud měl vyjít výsledek 0, ale vyšel 1, váhy se **sníží**.
3. Lineární separabilita (Hlavní omezení)
Zásadním omezením jednoduchého perceptronu je, že dokáže řešit pouze úlohy, které jsou lineárně separabilní. To znamená, že mezi dvěma skupinami dat musí být možné nakreslit rovnou čáru (nebo rovinu ve více dimenzích), která je oddělí.
- Příklad: Perceptron hravě zvládne logické operace AND a OR.
- Problém: Nedokáže vyřešit operaci XOR (exkluzivní OR). Toto zjištění v roce 1969 vedlo k dočasnému útlumu výzkumu AI (tzv. AI Winter).
4. Od Perceptronu k hlubokému učení
Aby bylo možné řešit složitější (nelineární) úlohy, začaly se perceptrony skládat do vrstev. Tím vznikl:
- MLP (Multi-Layer Perceptron): Síť s jednou nebo více skrytými vrstvami.
- Změna funkce: Skoková funkce byla nahrazena hladkými funkcemi (Sigmoid, ReLU), což umožnilo použití algoritmu Backpropagation pro efektivní učení složitých struktur.
Srovnání: Perceptron vs. Moderní Neuron
| Vlastnost | Původní Perceptron | Moderní Neuron (v hlubokých sítích) |
|---|---|---|
| Aktivační funkce | Skoková (všechno nebo nic) | Hladká (ReLU, Sigmoid, Tanh) |
| Výstup | Pouze 0 nebo 1 | Spojitá hodnota (např. 0.85) |
| Učení | Perceptron learning rule | Gradient Descent + Backpropagation |
| Schopnost | Pouze lineární vztahy | Komplexní, nelineární vzorce |
Zajímavost: Frank Rosenblatt věřil, že perceptron brzy povede ke strojům, které budou moci chodit, mluvit a uvědomovat si samy sebe. Přestože byl příliš optimistický, položil základy pro všechno, co dnes vidíme v technologiích jako ChatGPT.