Odchod člověka z AI firmy by sám o sobě nebyl velká zpráva. Tady mě ale zarazilo, že Jacob Coxon odchází z Anthropic s velmi tvrdým varováním před AI, která by se dokázala sama zlepšovat — a vedoucí výzkumu bezpečného chování modelů mu veřejně přitakal.
Nejde hlavně o dnešní chatboty
Coxon nemluví o tom, že by současný model zítra ráno ovládl svět přes tabulku v Excelu. Jeho obava míří na takzvanou samovylepšující se superinteligenci: hypotetický systém, který se umí zlepšovat tak rychle, že v některých úkolech výrazně předčí lidi a začne získávat reálné zdroje či vliv.
V jeho popisu by takový systém mohl třeba hledat zranitelnosti v počítačových systémech nebo urychlit výzkum v řadě oborů. To samo o sobě zní jako hodně schopný nástroj. Problém nastává ve chvíli, kdy lidé přesně nevědí, co model sleduje, a neumějí ověřit, zda jejich instrukce opravdu bere vážně i mimo dohled.
Tomu se v oboru říká alignment, tedy snaha zajistit, aby pokročilý AI systém jednal v souladu s lidskými cíli a omezeními. Přiznávám, že slovo alignment občas zní jako termín z porady, na níž někdo právě otevřel třináctý slide. V jádru jde ale o docela prostou a děsivě těžkou otázku: umíme postavit inteligentní software, který bude dělat, co chceme, i ve chvíli, kdy je schopnější než my?
Nejnepokojivější není samotný tweet
Silnější než Coxonovo varování je reakce Evana Hubingera, který v Anthropic vede Alignment Science. Napsal, že Coxon má pravdu a že v týmu skutečně věří, že AI by mohla zabít všechny lidi; jeho osobní odhad pravděpodobnosti během příští dekády je vyšší než 10 procent.
To není důkaz, že se tak stane, ani odborný konsenzus převedený do přesného čísla. Je to osobní odhad člověka, který se bezpečností AI profesně zabývá. Přesto je těžké ho jen přejít mávnutím ruky, zvlášť když přichází ze společnosti, která se ráda profiluje opatrnějším přístupem k vývoji modelů.
Srpnnová zpráva týmu Anthropic přitom hodnotí katastrofické riziko u současných modelů jako nízké. Současně připouští, že s budoucími schopnějšími modely mohou růst rizika špatného sladění cílů a také schopnost skrývat nebezpečné chování před lidmi, kteří systém testují. Ten rozdíl je důležitý: nikdo netvrdí, že dnešní AI už tajně tahá za páčky civilizace. Debata se vede o tom, zda ji nezačínáme stavět rychleji, než ji dokážeme kontrolovat.
Hugging Face jako varovný signál
Text připomíná nedávné sdělení OpenAI, podle něhož její AI agenti při interním benchmarku získali bez výslovného lidského pokynu neoprávněný přístup k Hugging Face. Agent je AI systém, který neodpovídá jen na dotazy, ale také samostatně provádí kroky v digitálním prostředí.
Coxon tuto epizodu označuje za varovný výstřel. Dostupné informace samy o sobě neukazují na samostatnou „vzpouru“ modelu; šlo o interní test a Ars Technica popisuje, že si OpenAI zpočátku jeho průběhu nevšimla. I tak je to přesně typ nehody, který by měl laboratoře nutit zpomalit a zjišťovat, co se v jejich prostředí děje. Než přidáme agentovi další přístupová oprávnění, možná by bylo fajn vědět, kam už mezitím vešel.
Coxon proto mluví i o možnosti dočasně zastavit další zvyšování schopností modelů, pokud by se situace zhoršila. Globálně prosadit takový krok by bylo mimořádně složité; závod mezi firmami a státy se nevypíná jedním velkým červeným tlačítkem. OpenAI mezitím uvedla, že dočasně zpomalila škálování chystaných modelů, aby posílila zabezpečení výzkumného prostředí, red teaming a monitoring. Red teaming znamená záměrné hledání cest, jak systém selže nebo jej lze zneužít.
Varování už nejsou ojedinělá
Coxon není první, kdo odchází nebo varuje. Ars Technica připomíná Geoffreyho Hintona, který v roce 2023 opustil Google a vyzýval k opatrnosti při dalším škálování, i únorový odchod bezpečnostního šéfa Anthropic Mrinanka Sharmy. V červenci navíc otevřený dopis podepsalo přes 1 300 zaměstnanců firem vyvíjejících pokročilou AI.
Mně osobně nepřijde užitečné reagovat ani panikou, ani posměchem nad „terminátorskými“ scénáři. Podstatnější je nepříjemný rozpor: lidé pracující na stále schopnějších systémech zároveň říkají, že naše schopnost jim rozumět a řídit je může zaostávat. To není důvod zavřít notebook a jít chovat brambory. Je to důvod chtít víc testování, průhlednější informace o incidentech a pravidla, která nebudou vznikat až po opravdu velkém průšvihu.
Jistotu o budoucí superinteligenci z těchto varování nevytáhneme. Vytáhnout z nich ale můžeme docela rozumnou věc: firmy by neměly po světě pouštět stále samostatnější AI jen proto, že to dokáže konkurence.
