S rychlým rozvojem umělé inteligence (AI) se do popředí dostávají otázky, které nejsou jen technického, ale i morálního a společenského rázu. Jak zajistit, aby AI lidstvu pomáhala a neškodila?

AI modely se učí na datech vytvořených lidmi. Pokud jsou tato data zatížena předsudky (rasovými, genderovými, sociálními), model je převezme a může je i zesílit.

• Příklad: Systém pro nábor zaměstnanců diskriminující ženy, protože historicky bylo na danou pozici přijímáno více mužů.

Mnoho moderních systémů (zejména hluboké neuronové sítě) funguje jako „černá schránka“. Víme, jaký je vstup a výstup, ale přesně nerozumíme tomu, proč se systém rozhodl právě takto.

• Požadavek: Právo na vysvětlení (např. proč mi byla zamítnuta půjčka).

Schopnost AI analyzovat obrovské množství dat (rozpoznávání obličejů, analýza chování) může vést k masivnímu sledování obyvatel a ztrátě soukromí.

Aby se předešlo katastrofickým scénářům, vznikají různé iniciativy a právní rámce:

• EU AI Act: První komplexní regulace na světě, která rozděluje AI systémy podle míry rizika (nepřijatelné, vysoké, omezené a minimální).
• Alignment (Slučitelnost cílů): Vědecký obor zkoumající, jak zajistit, aby cíle superinteligentních systémů byly vždy v souladu s lidskými hodnotami.
• Auditovatelnost: Možnost nezávislého přezkumu algoritmů a datových sad.

Někteří vědci (např. Nick Bostrom) varují před příchodem AGI (Artificial General Intelligence), která by mohla překonat lidskou inteligenci ve všech směrech. Pokud nebude správně nastavena, mohla by lidstvo vnímat jako překážku při dosahování svých (i když původně dobře míněných) cílů.

Základní otázka: Měla by mít AI vědomí a morální status? Pokud stroj dokáže simulovat utrpení, máme k němu mít morální povinnosti?

— Související témata:

• Legislativa a právo v AI
• Bezpečnostní standardy (AI Safety)
• Budoucnost práce v digitálním věku