Čeká AI konec tokenizace?
Dnešní LLM neumí zpracovávat text přímo, ale potřebují ho rozdělit na tokeny. A ač to funguje, je to zároveň pro AI omezením. Letošní výzkumy ukazují, že klasický tokenizér možná nepotřebujeme. A že modely, které umí pracovat přímo s bajty, mohou být nejenže konkurenceschopné, ale v řadě úloh i lepší.
Proč AI neumí počítat? Záhada strawberry
Kolikrát se ve slově „strawberry“ vyskytuje písmeno R? Pro člověka triviální úkol, ale přesně tady mnohé jazykové modely v minulosti selhaly. Ne proto, že by neuměly počítat. Zakopaný pes je někde úplně jinde: ve zpracování textu.
Současná LLM ho nezpracovávají přímo. Potřebují k tomu malý trik. Slova dělí na menší části, tokeny. Trochu to připomíná děti, které se učí číst. Ty také mnohdy nedokáží přečíst celé slovo najednou, a tak si ho potřebují rozdělit. Je snadnější ho vyhláskovat, pracovat s částmi.
U AI je princip podobný, byť má trochu jiný důvod. Zpracovávat každé písmeno by bylo se současnou technikou výpočetně náročné. No a pracovat s každým možným slovem zase nepraktické, protože počet možných slov je neomezený. Tokeny jsou kompromis.
A trochu připomínají vývoj písma jako takového. Třeba ta starověká obrázková. Ani Egypťani u nich nezůstali, postupně si vytvořili i jednodušší písma, která se lépe hodila pro každodenní použití.
Co vlastně AI čte?
To co do AI napíšete, nejdříve prochází tokenizérem, který text rozdělí na menší jednotky. Můžou to být celá slova, slabiky nebo části slov, ale taky znaky anebo interpunkce.
Tokenizér diskriminuje méně používané jazyky. A tak se často stává, že anglické slovo je jediným tokenem, kdežto české se rozdělí na více tokenů.
Jeden z nejznámějších postupů je Byte Pair Encoding (BPE). Jeho princip je docela jednoduchý. Opakovaně spojuje nejčastěji se vyskytující dvojice sousedních symbolů do jednoho nového symbolu (tokenu). Postupně tak vznikne zásoba tokenů, se kterými model pracuje.
Proč to celé podstupovat? Protože je jednodušší zpracovat několik větších částí textu než hromadu jednotlivých písmen. Model tak má díky tomu méně práce a spotřebuje méně výpočetního výkonu.
Cena za kompromis ale není nulová.
Tokenizér totiž nejlépe zvládá to, s čím se setkával při trénování. Jakmile narazí na něco méně obvyklého, třeba překlep, nové slovo nebo cizí jazyk, začne text dělit na více částí. A to znamená více práce pro model.
To by tolik nevadilo, jenže stačí změnit jediné písmeno a stejné slovo se může rozdělit úplně jinak.
A právě tady začíná být problém. Třeba při programování, kde může jediné špatné písmeno znamenat nefunkční kód. Nebo při hledání překlepů, kdy záleží na každém jednom znaku.
Ne že by si s tím dnešní AI neuměla poradit. Jen jí samotné, ten způsob, jakým text zpracovává, zbytečně komplikuje život.
Co kdyby model dostával přímo bajty?
Existuje ale i jiná cesta. Co kdyby model místo tokenů pracoval přímo s bajty?
Klasický tokenizér potřebuje desetitisíce tokenů. My si ale vystačíme s pouhými 256 hodnotami. Má to ovšem jeden háček. (Doslova.) Některá písmena totiž potřebují bajtů víc. Třeba české „č“ zabírá v kódování UTF-8 hned dva.
V JavaScriptu si to můžeme jednoduše ověřit:
const text = "čaj";
const bytes = [...new TextEncoder().encode(text)];
console.log(bytes);
// [196, 141, 97, 106]Code language: JavaScript (javascript)
Tři písmena, ale čtyři bajty. Klasický tokenizér by přitom mohl celé slovo „čaj“ zpracovat jako jediný token.
A tím se dostáváme k jádru věci. Bajtů je totiž mnohem víc než tokenů. A čím více jednotek musí model zpracovat, tím víc má práce. Nemůžeme si tedy jen tak odstranit tokenizér a nechat vše při starém, bylo by to pomalejší. Nestačí tedy změnit, co model čte, ale jak to čte.
Místo tokenů dynamické úseky
Práce s bajty není žádná novinka. Už model ByT5 ukázal, že AI může fungovat bez klasického tokenizéru. A dokonce si lépe poradit třeba s překlepy nebo chybami v textu. Jenže stále tu zůstávala otázka, co s tím obrovským množstvím bajtů.
Zajímavé řešení představili výzkumníci z Mety a několika univerzit. Jejich model Byte Latent Transformer (BLT) přišel s docela chytrým nápadem. Co s tolika bajty? Jednoduše je spojit dohromady. A že to zní jako tokenizace? Skoro. BLT sdružuje bajty do úseků. Na rozdíl od tokenů jejich hranice určuje podle toho, s jakým textem právě pracuje.
Když je text snadno předvídatelný, vystačí si BLT s delšími úseky. Když narazí na něco neobvyklého, úseky zkrátí. Trochu jako automatická převodovka. Na rovince zařadí vyšší rychlostní stupeň, v kopci podřadí. A zdá se, že to funguje. Výzkumníci BLT to testovali na modelech s osmi miliardami parametrů a při srovnatelných výpočetních nákladech držel krok s klasickými modely s tokenizérem.
Breaking the Token Ceiling: menší modely mohou získat výhodu
V září 2026 představil tým kolem Kalyani Marathe další zajímavý výzkum. Tentokrát se zaměřili na destilaci, tedy postup, při kterém se menší model učí od většího. Tak trochu jako žák od učitele. Jenže místo pouhých správných odpovědí získává i informace o tom, jak moc si je učitel jistý.
Jenže jak předat znalosti, když učitel a žák nemluví stejným jazykem? Jeden pracuje s tokeny, druhý s bajty. Výzkumníci proto navrhli způsob, jak mezi nimi znalosti převést.
A zdá se, že uspěli. Zpočátku měly tokenové modely náskok, ale s dalším trénováním je bajtové varianty v testech překonaly. V jednom srovnání dokonce stačila zhruba šestina trénovacích dat k dosažení stejného výkonu. Neznamená to ovšem šestinové náklady. Zpracování bajtů je stále výpočetně náročnější.
Byteification: proč trénovat všechno znovu?
Další cestu představila říjnová studie Retrofitting Language Models to Operate Over Bytes, publikovaná v časopise Nature. Výzkumníci přišli s metodou byteification, která umožňuje naučit již natrénovaný model pracovat s bajty.
Trochu jako když zkušený hudebník přesedlá na jiný nástroj. Hudbě rozumí dál, jen si musí osvojit nové pohyby. U AI se nejprve učí nové části modelu, teprve potom se všechno sladí dohromady.
Upravené modely se výkonem přiblížily původním a v některých testech je dokonce překonaly. A to vše s dodatečnými výpočetními náklady, které nedosáhly ani jednoho procenta běžného předtrénování.
Co to znamená pro vývojáře?
Zajímavé výsledky výzkumů jsou jedna věc. Ale co z toho budeme mít v praxi? Největší přínos vidím ve třech oblastech.
Zdrojový kód. Při programování záleží na každém znaku. Bajtové modely by si proto mohly lépe poradit s názvy proměnných, překlepy nebo drobnými změnami v kódu.
Čeština a další jazyky. Angličtina dnes často těží z výhodnějšího rozdělení na tokeny. Práce s bajty tuto nerovnost částečně odstraňuje, byť sama o sobě nezaručuje, že model bude češtině lépe rozumět.
Rychlost a cena. Tady bude rozhodovat skutečný provoz. Menší slovník totiž automaticky neznamená rychlejší ani levnější odpovědi. Důležité je, kolik výpočtů model nakonec potřebuje.
Tokenizace nekončí. Končí její samozřejmost.
Klasická tokenizace byla po dlouhou dobu mimořádně úspěšným technickým kompromisem. Je to chytrá technika, která jazykovým modelům pomohla vyrůst do dnešních rozměrů. Jenže kompromis není zákon přírody.
Neznamená to, že tokenizéry zítra zmizí. Mění se ale něco podstatnějšího. Dosud jsme modelům předem určovali, jak mají text rozdělovat. Teď se ukazuje, že to není nutné.
I to, jak AI čte, se může naučit sama.
Primární zdroje
Marathe et al. (2026): Breaking the Token Ceiling
Minixhofer et al. (2026): Retrofitting Language Models to Operate Over Bytes
Pagnoni et al. (2025): Byte Latent Transformer
Xue et al. (2022): ByT5