Představte si, že chcete od umělé inteligence přepsat dvacetistránkový dokument, zanalyzovat obří geologickou zprávu nebo nechat zpracovat stovky fotek s textem. Nahrajete soubory do ChatGPT nebo Claude, kliknete na odeslat a těšíte se na výsledek. Místo toho ale dostanete rozbitý výstup, useknutou odpověď nebo naprosté halucinace. Proč se to děje, když vývojáři slibují obří kapacitu a převratné schopnosti?
Za těmito problémy nestojí náhodná chyba systému, ale základní vlastnost, kterou sdílí každý moderní jazykový model. Jde o pracovní paměť, které se v oblasti AI říká kontextové okno. Pokud pochopíte, jak tato virtuální tabule funguje a proč při jejím zaplnění výkon prudce klesá, přestanete s modely bojovat a začnete z nich dostávat řádově lepší výsledky.
Co je to kontextové okno a jak funguje?
Jazykový model nemá paměť v lidském slova smyslu. Mezi jednotlivými dotazy si sám o sobě nic nepamatuje. Každou novou odpověď skládá výhradně z toho, co má v danou chvíli přímo před sebou. Tento prostor tvoří systémové instrukce, dosavadní historie chatu, nahrané soubory a samotný text, který model právě generuje. To vše dohromady definuje aktuální kontext.
Velikost tohoto prostoru měříme v tokenech. Jeden token odpovídá přibližně jednomu anglickému slovu. V češtině je situace o něco složitější – naše slova se často dělí na více tokenů, takže stejný text zabere v češtině až třikrát více místa než v angličtině. To je důležité mít na paměti při práci s delšími dokumenty.
Možná namítnete, že váš ChatGPT si pamatuje věci z minulých konverzací. To je sice pravda, ale nejde o paměť samotného modelu. Jde o chytrou nadstavbu aplikace. Ta si ukládá důležité poznatky do externí databáze a při každém novém dotazu je nepozorovaně vloží na začátek kontextu. Pro model je to tedy pokaždé nový vstup, který ukrajuje drahocenné místo z jeho aktuální pracovní plochy.
Mechanismus pozornosti: Proč více dat znamená horší výsledky
Dnešní modely stojí na architektuře Transformer, jejímž srdcem je mechanismus pozornosti (attention). Když model zpracovává text, porovnává každý token se všemi ostatními tokeny v kontextu. Hledá mezi nimi souvislosti a určuje, které informace jsou pro odpověď klíčové.
Tento proces má však obrovskou výpočetní daň. Náročnost výpočtu roste s druhou mocninou délky textu. Dvojnásobný text vyžaduje čtyřnásobnou kapacitu. Jakmile kontextové okno přeplníte, pozornost modelu se rozmělní. Irelevantní části textu začnou fungovat jako šum, který přehluší důležité informace. Výsledkem je rapidní pokles přesnosti.
