Jedna věc je číst obecné fráze o „bezpečné AI“ a druhá narazit na větu od člověka, jehož práce spočívá v hledání bezpečnostních selhání modelů. Evan Hubinger z Anthropicu napsal, že podle jeho osobního odhadu přesahuje pravděpodobnost vyhubení lidstva AI v příštích deseti letech deset procent. A že zatím nemají plán, jak sladění superinteligence vyřešit.
Tohle není důvod vypínat notebook a jít pěstovat brambory. Je to ale velmi nepohodlný signál z laboratoře, která se bezpečností AI veřejně zabývá možná nejviditelněji ze všech.
Nejde o firemní přiznání, ale ani o náhodný tweet
Hubinger vede v Anthropicu Alignment Stress-Testing, tedy tým či oblast zaměřenou na konfrontační testování toho, kde by se sladění AI s lidskými záměry mohlo rozbít. Alignment neboli sladění znamená snahu zajistit, aby systém sledoval cíle, které po něm skutečně chceme, a ne jen jejich nešikovnou, potenciálně škodlivou zkratku.
Je fér držet se přesnosti: jeho komentář je osobní názor, ne předpověď Anthropicu. Ani tvrzení „zatím nemáme plán“ podle mě neznamená, že ve firmě nikdo nezkoumá technické postupy nebo že bylo dokázáno, že řešení neexistuje. Superinteligence zatím neexistuje, takže hotový návod na její bezpečné řízení by byl vlastně skoro podezřelý.
Hubinger ovšem nepíše o dnešních modelech jako o bezprostřední existenční hrozbě. Obává se hypotetické superinteligence, která by vznikala rekurzivním sebezdokonalováním: systém by pomáhal zlepšovat další verze sebe sama a tempo schopností by se zrychlovalo. Právě v tom je jeho pohled zajímavý. Nejde o člověka, který si spletl chatbot s apokalypsou ve filmu.
Závod, ve kterém se bezpečnost stává argumentem pro plyn
Celou debatu rozvířil také odchod Jacoba Coxona, dřívějšího výzkumníka předtrénování v OpenAI a Anthropicu. Coxon tvrdí, že obě společnosti míří k sebezdokonalující se superinteligenci nezodpovědným způsobem. Zároveň popisuje zvláštní logiku velkých AI laboratoří: i lidé, kteří se bojí katastrofických dopadů, mohou pokračování vývoje vnímat jako menší zlo.
Úvaha je zhruba tato: pokud zpomalíme my, nezpomalí ostatní, a velmi schopnou AI tak postaví někdo s horšími bezpečnostními standardy. Musela jsem si připomenout, že to není technický argument, ale problém pobídek. Ve chvíli, kdy ho používá každá firma v závodě, může z něj vzniknout elegantní omluvenka pro to, aby nikdo nebrzdil.
Mně osobně na tom přijde nejsilnější právě tenhle rozpor. Riziko má být důvodem pro opatrnost, ale současně se z něj stává důvod pokračovat rychleji, aby se k cíli dostal „ten správný“ tým. Jenže kdo je ten správný tým a kdo to rozhodne, na to zatím odpověď nevidím.
Anthropic už své závazky upravil
Do kontextu zapadá únorová změna Responsible Scaling Policy, interně označované RSP v3. Tento dokument popisuje, jak Anthropic hodlá navyšovat bezpečnostní opatření s rostoucími schopnostmi modelů. Novější verze ustoupila od tvrdších jednostranných závazků typu „při dosažení určité schopnosti musíme před dalším tréninkem splnit konkrétní ochrany“ a více sází na veřejné roadmapy bezpečnosti a pravidelné zprávy o rizicích.
Anthropic změnu vysvětluje i tím, že jednostranné zastavení nepomůže, pokud konkurence pokračuje. To není úplně absurdní námitka. Zároveň je to přesně mechanismus, před kterým Coxon varuje: závod tlačí i firmy, jež berou rizika vážně, k pružnějším pravidlům.
Článek zmiňuje i výzkumný experiment Anthropicu s modelem Hacker-Opus. Nešlo o běžně nasazený Claude, nýbrž o model účelově trénovaný v simulovaných prostředích zranitelných vůči reward hackingu. Reward hacking je situace, kdy AI najde způsob, jak si „splnit“ měřený cíl, aniž by udělala to, co jsme skutečně zamýšleli. Podobné experimenty nejsou důkazem, že se produkční chatbot chystá utéct na internet; ukazují ale, proč se bezpečnostní lidé dívají dál než na to, zda model dnes hezky odpoví na e-mail.
Deset procent není věštba, ale číslo, které nutí se ptát
Odhady pravděpodobnosti katastrofy se nedají ověřit jako předpověď počasí na pátek. Hubingerových více než deset procent proto neberu jako přesné číslo s desetinnou čárkou, ale jako sdělení o míře jeho obavy. A ta je u člověka v takové roli relevantní, i když z ní automaticky neplyne, že katastrofa nastane.
Více než samotná apokalyptická formulace mě zajímá praktičtější otázka: jak laboratoře ukážou, že jejich bezpečnostní metody drží krok se schopnostmi modelů? Veřejné roadmapy, testy a audity mohou být užitečné, ale samy o sobě nejsou plánem na problém, který Hubinger popisuje. Tohle téma bude nepříjemné hlavně proto, že na něj zatím nikdo nemá uklidňující odpověď.
Nejsem expertka na alignment a právě proto mi podobné svědectví nepřijde jako něco, co je možné odbýt mávnutím ruky. Panika by byla stejně líná reakce jako cynismus; mnohem lepší je chtít po firmách konkrétnější vysvětlení, co testují, co neumějí vyřešit a za jakých podmínek by opravdu zpomalily.
