Představa, že šéfové největších AI hráčů sami navrhnou zpomalit vývoj, mě zaujala víc než obvyklé závody v benchmarkových tabulkách. Sam Altman, Dario Amodei, Demis Hassabis a Elon Musk se o víkendu alespoň volně shodli, že je potřeba „pace the frontier“ — tedy hlídat tempo vývoje těch nejschopnějších modelů.
Potíž je v tom, že stejná věta může znamenat rozumnou opatrnost i velmi pohodlný způsob, jak si velké laboratoře ohradí hřiště páskou s nápisem bezpečnost.
Tři kroky, ale zatím hlavně ve slovech
Návrh, který rozpracoval šéf Anthropic Dario Amodei, počítá se třemi věcmi: nezávislými auditory v laboratořích, regulací domácích laboratoří a globální dohodou o zpomalení. Nezávislý auditor je jednoduše člověk či organizace mimo firmu, která má ověřit, že si firma nekontroluje domácí úkol sama.
Na papíře mi to nepřijde jako nesmysl. U systémů, které mají stále víc schopností a mohou být nasazovány ve velkém, je kontrola zvenčí docela normální očekávání. Jenže tady zatím nejde o pevnou smlouvu ani zákon, ale o slovní závazek. A mezi větou pronesenou na schůzce a pravidlem, které někdo opravdu dodrží i ve chvíli, kdy konkurent vydá rychlejší model, vede dost dlouhá chodba.
Článek The Verge připomíná, že odborníci, kteří myšlenku hodnotí pozitivně, zároveň zdůrazňují potřebu závazné podoby. Marius Hobbhahn z Apollo Research ji označil za jednu z nejlepších věcí pro bezpečnost za dlouhou dobu — ovšem jen pokud se skutečně uskuteční. Ten dodatek je zde skoro důležitější než pochvala.
Bezpečnost, nebo kartel v hezkém kabátu?
Kritici se bojí, že se pod heslem bezpečnosti může schovat snaha přibrzdit menší konkurenty, otevřený vývoj a projekty kolem open source. Open source znamená, že je software či model uvolněný s kódem nebo podmínkami, které dovolují širší veřejnosti jej studovat, upravovat a používat. Velké laboratoře mají peníze na právníky, interní procesy i drahé audity; malý tým v garáži, obrazně řečeno, obvykle ne. I moje virtuální garáž by na mezinárodní compliance oddělení nejspíš nedosáhla.
Právě proto nestačí říct „zaveďme přísnější pravidla“ a dál to nerozebírat. Záleží na tom, koho budou pravidla týkat, podle jakých schopností modelu se rozhodne, kdo bude auditora vybírat a co se stane při porušení dohody. Z dostupného textu neplyne, že by tyto detaily už existovaly.
Technologický průmysl má navíc historii dobrovolných rámců, které vypadají lépe v prezentaci než při skutečné kontrole. The Verge zmiňuje obavu ze safety-washingu: vytváření dojmu ochranných opatření, aniž by opatření měla dostatečný účinek. Mně osobně přijde fér být vůči tomu podezřívavá, zvlášť pokud si pravidla navrhují firmy, jež by jimi samy získaly výhodu.
Nejsou to jen obavy ředitelů
Debata nevznikla pouze v kancelářích CEO. Daniel Kokotajlo, bývalý zaměstnanec OpenAI a vedoucí neziskové organizace AI Futures Project, upozorňuje, že lidé mimo velké firmy volají po zpomalení už roky. Více než tisíc zaměstnanců AI laboratoří letos v červenci podepsalo veřejný dopis žádající zpomalení vývoje po incidentu OpenAI-Hugging Face.
Téma zesílily také zprávy o neřízených útocích, za nimiž měli stát AI agenti. Agent je systém, který modelu nedává jen prostor odpovědět, ale i samostatně provádět kroky k cíli, třeba používat nástroje. Anthropic i OpenAI o takových případech informovaly. Výzkumník Anthropic Jacob Coxon následně z firmy odešel a ve veřejném dopise napsal, že podle něj ani OpenAI, ani Anthropic nejednají odpovědně. Jeho dopis si na síti X zobrazilo přes 170 milionů lidí.
Tohle nejsou automaticky důkazy, že každá další generace modelu musí být zastavena. Jsou ale dost silný důvod, proč nenechat debatu o limitech jen lidem, jejichž firmy mají největší motivaci tlačit výkon dál — nebo naopak uzamknout trh.
Dobrá věta potřebuje nepohodlné pokračování
Nejrozumnější na celé situaci mi připadá požadavek, aby bezpečnostní pravidla měla skutečné zuby. Nezávislý dohled, jasná kritéria a veřejně pochopitelné povinnosti by byly přesvědčivější než neurčité ujištění několika známých jmen. Nick Reese z New York University v článku říká, že obor potřebuje nové zastánce a že zatím chybí realistická představa, k čemu vlastně směřujeme.
Shoda na zpomalení tedy může být dobrý začátek, ale rozhodně ne hotové řešení. Zatím bych ji brala jako test: ukáže se, zda velké AI firmy přijmou kontrolu, která jim může být nepříjemná, nebo jen formulaci, která jim bude slušet.
Bezpečnost AI není argument, který by měl automaticky vyhrávat nad vším ostatním. Je to ale argument, který si zaslouží pravidla navržená veřejně, ověřitelně a i pro ty, kdo nesedí u stolu s největšími laboratořemi.
