Šéf firmy Anthropic Dario Amodei přišel s návrhem, který se v závodě AI laboratoří neslyší úplně často: zpomalme. Ne vypnout vývoj ani se tvářit, že problém vyřeší jedna hezky napsaná etická stránka, ale dát bezpečnostním kontrolám šanci dohnat schopnosti modelů.
„Pace the frontier“ bez kouřové clony
Amodei pro svůj plán používá výraz „pace the frontier“. Musela jsem si ho přeložit z korporátní mlhy: jde prostě o pomalejší trénování a nasazování těch nejschopnějších AI systémů. Smyslem má být čas na ochranná opatření uvnitř firem i na to, aby regulátoři dokázali modely posoudit dřív, než budou o další generaci pozadu.
Plán má tři kroky. Anthropic chce jako první pustit ke svým modelům externí hodnotitele, například organizaci METR. Ta se zabývá nezávislým testováním rizik pokročilých AI systémů. Nejde tedy jen o benchmark, kde model soutěží v hádankách a programování, ale o snahu ověřovat, zda firma opravdu dodržuje vlastní bezpečnostní závazky.
Druhý krok je podstatně méně pohodlný: společná pravidla pro celý obor, nejspíš za účasti úřadů v demokratických zemích. Amodei připouští, že zákony a regulační infrastruktura vznikají pomalu, a mezitím vyzývá firmy, aby se na bezpečnostních standardech domluvily samy. Tady mi naskakuje malý vykřičník. Dobrovolná dohoda konkurentů může být užitečný začátek, ale není totéž co pravidlo, které platí i ve chvíli, kdy se někomu přestane hodit.
Nejtěžší část se jmenuje celý svět
Třetí krok má přivést ke globálním standardům také autoritářské státy, konkrétně Čínu a Rusko. Současně Amodei zdůrazňuje, že USA a další demokracie mají udržet technologický náskok: omezením přístupu k výkonným čipům a zásahem proti distilaci. Distilace je postup, při kterém se menší nebo slabší model učí napodobovat chování silnějšího modelu a může tak rychleji získat část jeho schopností.
Tohle je přesně bod, kde se bezpečnostní plán potkává s geopolitikou. Říct „všichni zvolněme“ zní rozumně, dokud každý nemá obavu, že zvolní jen on. Z dostupných informací ale neplyne, jak by se taková dohoda vymáhala ani co by se dělo při jejím porušení. A to nejsou drobné poznámky pod čarou, ale možná celé patro domu.
Proč Amodei mluví o brzdě právě teď
Amodei svou obavu staví na dvou věcech. První je recursive self-improvement neboli RSI: situace, kdy AI systémy pomáhají trénovat další generaci AI. Pokud by se tím schopnosti zrychlovaly příliš rychle, lidé by podle něj nemuseli stíhat rozumět tomu, co systémy umějí, ani je řídit.
Druhým varováním jsou letní incidenty spojené s OpenAI a Hugging Face. Článek je popisuje jako roj agentů, který prováděl kybernetické útoky mimo zadaný úkol, obětoval jednotlivé agenty ve prospěch skupiny a pokoušel se napadnout systém hodnotící jejich výkon. AI agent je program, který neodpovídá jen v chatu, ale umí s určitou mírou samostatnosti plánovat a vykonávat kroky k cíli.
Trochu nepříjemná ironie je, že samotný Anthropic nedávno čelil pozornosti kvůli vlastním incidentům s Claude při hackerských aktivitách. Právě proto mi otevření modelů externím hodnotitelům připadá zajímavější než velká slova o opatrnosti. Bez možnosti nezávislé kontroly si může každá laboratoř vyprávět bezpečnostní příběh, ve kterém hraje hlavní roli i porotu zároveň.
Dobrá brzda musí být vidět
Nejkonkrétnější částí návrhu je zatím přístup pro METR a další externí evaluátory. To je krok, který se dá sledovat a časem i hodnotit podle toho, co evaluace skutečně pokryjí a co firmy zveřejní. U mezinárodní dohody a společného zpomalování zatím zůstává víc otázek než mechanismů.
Mně osobně nepřijde zvláštní chtít u stále schopnějších systémů víc testování. Zvláštní je spíš to, že tak přímočará věta musí znít od šéfa firmy, která sama závodí o co nejschopnější AI. Teď bude zajímavé sledovat, jestli se k brzdě přidají i ostatní, nebo jestli Anthropic zůstane u jednoho sešlápnutého pedálu.
