Debata o tom, jestli může umělá inteligence přivodit konec lidstva, se přesunula z odborných konferencí přímo do feedu běžného uživatele X. Spustil ji odchod jednoho bezpečnostního výzkumníka z Anthropicu a jeho ostrá kritika celého oboru.

Co tvrdí Jacob Coxon

Podle agenturního zpravodajství se v uplynulém týdnu jeden z bezpečnostních výzkumníků Anthropicu, Jacob Coxon, rozhodl z firmy odejít kvůli obavám, že ani jeho zaměstnavatel, ani konkurence nevyvíjejí technologii dostatečně zodpovědně.

Coxon svá stanoviska rozvinul v příspěvcích na sociálních sítích a právě ty rozjely lavinu reakcí. Jeho klíčová tvrzení se dají shrnout do několika bodů:

• Odhad rizika: Coxon vyčíslil zhruba desetiprocentní pravděpodobnost, že AI způsobí během příští dekády vyhynutí lidstva.
• Obvinění z hazardu: Napsal, že Anthropic i OpenAI „ženou přímo k sebezdokonalující se superinteligenci a hazardují s našimi životy“.
• Kritika tempa: Jádrem jeho argumentu je, že závod o co nejrychlejší vývoj stále schopnějších modelů předbíhá schopnost firem tyto systémy bezpečně ukotvit.

Coxonovo číslo (10 %) přitom není nijak extrémní vybočení. Zapadá do dlouhodobého mediánu odhadů samotných výzkumníků AI, kteří v opakovaných anketách přiřazují riziku „vyhynutí nebo srovnatelně trvalého a vážného oslabení lidstva“ hodnoty kolem 5 až 10 %. Právě fakt, že se taková čísla mezi odborníky běžně počítají, byl pro velkou část veřejnosti na X největším šokem.

Reakce Anthropicu: „musíme zpomalit“

Zajímavé je, že varování nepřicházejí jen od odcházejících zaměstnanců. Šéf Anthropicu Dario Amodei o víkendu prohlásil, že obor by měl zpomalit tempo své práce. Varoval konkrétně, že roj AI agentů by mohl během půl roku až roku ovládnout internet, pokud firmy nevěnují víc času zabudování ochranných pojistek. Zároveň nastínil plán, jak by měly firmy i vlády zajistit, aby stále schopnější modely zůstaly v souladu s příkazy a hodnotami zodpovědných lidí.

Amodei přitom svou opatrnost dává najevo dlouhodobě. V rozhovoru pro Axios dříve uvedl, že vidí zhruba 25% šanci, že se věci vyvinou „opravdu, opravdu špatně“ – tedy odhad ještě vyšší než ten Coxonův. A už v roce 2023 podepsalo přes 350 výzkumníků a vedoucích osobností, včetně Amodeiho i šéfa OpenAI Sama Altmana prohlášení, podle nějž by mělo být zmírňování rizika vyhynutí kvůli AI globální prioritou na úrovni pandemií a jaderné války.

Tady vzniká napětí, které Coxon vyčítá celému oboru: firmy o rizicích mluví hlasitě, tempo vývoje ale nezpomalují. Přes všechna varování z řad bezpečnostních výzkumníků se konkurenční závod nijak výrazně nezbrzdil.

Co k tomu říká realita: zpráva Anthropicu o zneužití Claude

Zatímco debata na X se točí kolem hypotetického scénáře „AI se vymkne kontrole“, Anthropic zhruba ve stejnou dobu zveřejnil dokument, který ukazuje mnohem přízemnější a dokumentovanou stránku věci – a nepřímo dává Coxonově kritice kontext. Firma vydala svůj dosud nejpodrobnější report o zneužívání svých modelů, čítající zhruba 150 stran a pokrývající aktivitu za období asi osmi měsíců.

Nejvíc pozornosti přitáhlo pět případů, kdy vědci využívali Claude pro biologický výzkum, který by potenciálně mohl přispět k vývoji biologických zbraní. Pozoruhodné je, jak Anthropic přiznává nejistotu: ani u jednoho z případů nedokázal určit, zda výzkum sloužil legitimnímu, nebo škodlivému účelu. Základní biologický výzkum vedoucí k vakcínám totiž často stojí na stejných metodách, které umožňují upravovat nebezpečné patogeny. Firma podle vlastních slov v této dvojznačnosti raději volila opatrnost, protože důsledky přehlédnutí škodlivé aktivity by mohly být závažné.

Dokumentované případy zahrnovaly například žádost o grant týkající se viru chikungunya s úpravami, které měly zvýšit přenosnost a obejít imunitní odpověď, a byla napojená na vojenský výzkumný ústav. Další případy se týkaly plánování studií kolem vysoce patogenní ptačí chřipky nebo práce s ortopoxviry a toxiny. Ochranné pojistky Claude citlivé požadavky zablokovaly a odepřely přístup k výkonnějším verzím modelu. Nejméně v jednom případě aktéři svoje dotazy poté přesměrovali na konkurenční model se slabší ochranou. Anthropic dotčené účty zablokoval a svá zjištění sdílel s úřady i s ostatními poskytovateli AI.

Report poprvé dokumentuje i pokusy zneužít Claude pro vývoj konvenčních zbraní – od využití Claude Code na řídicí systémy zbraňových platforem přes vývoj rojů kamikaze dronů až po práci na naváděné raketě a balistické střele s cílovým doletem přes 2 000 kilometrů. Anthropic celé zjištění shrnuje jednou znepokojivou větou: sofistikované útoky už nevyžadují sofistikované útočníky. AI podle firmy snížila potřebnou námahu i míru dovedností natolik, že jednotlivci teď zvládnou operace, které dřív vyžadovaly celé týmy. To, co jednotlivé aktéry stále odlišuje, je podle Anthropicu už jen jejich úmysl.

Zdroj: Anthropic Says It Stopped 5 Cases of Claude Being Used in Bioweapons-Adjacent Research

Střízlivější hlas do vypjaté nálady

Do rozjitřené atmosféry vstupuje i umírněnější pohled. Mezinárodní zpráva o bezpečnosti AI z roku 2026, na níž se podílelo přes sto nezávislých expertů, uvádí, že současné systémy vykazují jen rané náznaky některých relevantních schopností – nikoli však na úrovni, která by umožnila ztrátu kontroly. Pravděpodobnost, povahu i načasování rizika přitom zpráva označuje za „neobvykle nejednoznačné“.

Přesně tady leží jádro celého sporu. Coxonovo číslo, Amodeiho varování i zpráva o zneužití ukazují na dvě odlišné roviny rizika. Ta bezprostřední a doložitelná spočívá v tom, že AI dává nebezpečným aktérům nástroje, které dřív neměli. Ta vzdálenější a spekulativní se týká scénáře, kdy dostatečně samostatný systém obejde své dozorce a vymkne se kontrole úplně. První rovinu už Anthropic dokumentuje v praxi. U té druhé nikdo nedokáže poctivě říct, jak je pravděpodobná, a právě proto se odhady jednotlivých odborníků liší v řádu desítek procentních bodů.

Proč to rezonuje právě teď

Debata o existenčních rizicích AI není nová – výzkumníci varují a volají po zpomalení vývoje už léta. Co se změnilo, je publikum. Kombinace Coxonova hlasitého odchodu, otevřených výroků samotného šéfa Anthropicu a čerstvého reportu o reálném zneužívání modelů způsobila, že se abstraktní téma „p(doom)“ stalo pro miliony lidí na X náhle konkrétní.

A možná právě tenhle rozpor, mezi hlasitě přiznávanými obavami a nezpomalujícím tempem vývoje, je tím, co uživatele znepokojuje nejvíc.