LLM umí číst a přepisovat váhy neuronových sítí bez trénování, tvrdí výzkumníci z MIT
Tým z MIT CSAIL ukázal, že frontier model GPT-6 Astra dokáže z holých vah poznat, k čemu byla síť natrénovaná, a dokonce je sám napsat nebo opravit. Autoři tomu říkají „Weight-Space Programming“.
Astra podle nich z čísel samotných poznala, na jakou hru byla malá síť natrénovaná, a v malých sítích našla i konkrétní funkční bloky, třeba takzvané kopírovací hlavy v transformeru. Bez trénování a bez gradientů také napsala váhy sítí pro tři hry z prostředí MinAtar. Ty dosáhly lepších výsledků než síť trénovaná pomocí PPO po dobu 100 milionů kroků.
Největší pozornost vzbudí úprava jazykového modelu Qwen3.5-0.8B. Astra v něm našla příčinu zacyklování a odstraněním jednoho směru ve vahách (změna 0,016 % parametrů) zvýšila skóre na MATH-500 ze 7,9 % na 48,1 %. Zároveň se zlepšilo i dodržování instrukcí (IFEval z 21,0 % na 62,3 %). Úprava ale vyžadovala 50 průchodů modelem a u menšího Gemma 3 270M, které se necyklí, žádné zlepšení nepřinesla.
Jde o blogový příspěvek, nikoli recenzovanou studii, a autoři sami uvádějí, že možnosti jsou zatím omezené. Například sykofantský model Astra z vah samotných nerozpoznala, pomohla až analýza pozornosti. Logy všech experimentů jsou zveřejněné na GitHubu.
Adam Heglas
Student se zájmem o IT, programování a kybernetickou bezpečnost. Baví mě se učit novým věcem a posouvat své schopnosti dál. Když zrovna nesedím u kódu, věnuji se fitness a počítačovým hrám.
