Přejít k navigační liště

Zdroják » Autoři » Archivy pro Michal Haták

Archiv autora: Michal Haták

Michal vede vývoj v jihočeském Iniziu.  Spolupořadatel a občasně přednášející na čtvrtkonu. Píše hlavně v Pythonu a CoffeeScriptu (třeba rozšíření pro chrome) a má rád čistý kód.

Čeká AI konec tokenizace?

‐ AI ‐
Komentáře: 0
Dnešní LLM neumí zpracovávat text přímo, ale potřebují ho rozdělit na tokeny. A ač to funguje, je to zároveň pro AI omezením. Letošní výzkumy ukazují, že klasický tokenizér možná nepotřebujeme. A že modely,…