Obsah
GRU (Gated Recurrent Unit)
GRU je typ rekurentní neuronové sítě, který řeší problém mizejícího gradientu podobně jako LSTM, ale s jednodušší vnitřní strukturou. GRU kombinuje stav buňky a skrytý stav do jednoho vektoru a používá méně bran, což zrychluje trénování i samotný běh modelu.
1. Architektura: Jak GRU funguje?
Zatímco LSTM má tři brány, GRU používá pouze dvě hlavní brány k řízení toku informací:
A. Aktualizační brána (Update Gate)
Tato brána určuje, kolik informací z předchozího stavu má být zachováno a kolik nových informací má být přidáno. Je to v podstatě kombinace zapomínací a vstupní brány z LSTM. Pomáhá modelu rozhodnout, zda si má pamatovat dlouhodobý kontext, nebo jej přepsat novým vstupem.
B. Resetovací brána (Reset Gate)
Určuje, jak moc má být předchozí stav ignorován při výpočtu nového kandidáta na skrytý stav. Pokud je hodnota blízká nule, model „zapomene“ předchozí historii a začne zpracovávat aktuální vstup jako nový začátek sekvence.
[Image comparing internal gates of LSTM vs GRU units]
2. Srovnání: GRU vs. LSTM
| Vlastnost | LSTM | GRU |
|---|---|---|
| Počet bran | 3 (Forget, Input, Output) | 2 (Update, Reset) |
| Počet parametrů | Více (náročnější na paměť) | Méně (lehčí a rychlejší) |
| Vnitřní stav | Oddělený Cell State a Hidden State | Pouze jeden Hidden State |
| Rychlost trénování | Pomalejší | Rychlejší |
| Přesnost | Často lepší u velmi dlouhých sekvencí | Lepší u menších datasetů nebo kratších sekvencí |
3. Kdy zvolit GRU?
GRU je často preferovanou volbou v situacích, kde:
- Máme omezené výpočetní zdroje: Například při běhu AI na mobilních zařízeních nebo IoT.
- Máme menší množství dat: Díky menšímu počtu parametrů má GRU menší tendenci k přetrénování (overfittingu) u malých datasetů.
- Potřebujeme rychlou iteraci: Pokud vyvíjíte prototyp, GRU se natrénuje rychleji než komplexní LSTM.
4. Praktické využití
- Analýza sentimentu: Vyhodnocování, zda je recenze produktu pozitivní či negativní.
- Prediktivní psaní: Napovídání slov v textových editorech.
- Analýza zvukových signálů: Např. filtrace šumu nebo rozpoznávání jednoduchých povelů.
Zajímavost: V mnoha testech dosahují GRU a LSTM téměř identických výsledků. Neexistuje jednoznačný vítěz – v praxi se často vyzkouší obě architektury a vybere se ta, která pro konkrétní data funguje lépe.