Bezpečnostní sliby AI laboratoří se mi občas slévají do hezkých vět, ze kterých člověk nepozná, kdo komu opravdu vidí pod ruce. Anthropic teď udělal konkrétnější krok: nezisková organizace METR dostala přístup k interním systémům a nástrojům zhruba na úrovni firemních týmů, které vyhodnocují rizika.
Host v kanceláři, ne jen tester zvenčí
METR je nezisková výzkumná skupina, která zkoumá schopnosti a rizika pokročilých AI systémů. Anthropic jí podle popsaného uspořádání poskytl kancelář, firemní hardware a přístup k interním nástrojům a systémům. Šest zaměstnanců METR má pracovat přímo v kanceláři Anthropic a zaměstnanci firmy dostali pokyn, aby s nimi sdíleli informace podobně jako s kolegy z interního risk týmu.
To „zhruba na úrovni zaměstnanců“ je podstatné. Běžné externí testování si člověk představí jako předání modelu, sady úkolů a následného reportu. Tady mají hodnotitelé vidět mnohem více z provozu laboratoře. Anthropic přirovnává tento model k dohledu nad velkými bankami, kde externí dohled působí přímo uvnitř instituce.
Mně osobně přijde užitečné, že nejde jen o další bezpečnostní tým placený firmou, kterou kontroluje. Anthropic METR za toto uspořádání neplatí; METR zároveň uvádí, že nepřijímá dary od AI společností ani jejich zaměstnanců. Financování má od jednotlivců, filantropických organizací a také institucí typu britského AI Security Institute.
Nejdůležitější detail: report nemá čekat na razítko
METR má své analýzy publikovat a Anthropic jejich zveřejnění nemůže vetovat. To je asi nejzajímavější část celé zprávy, protože bez možnosti mluvit veřejně by „nezávislý“ dohled mohl snadno skončit jako interní konzultace s lepší vizitkou.
Úplně bez omezení to ale není. Anthropic může požadovat začernění zákaznických dat, informací chráněných vztahem advokáta a klienta nebo detailů architektury modelů. První dvě kategorie dávají intuitivní smysl; u architektury už bude záležet na tom, jak široce se tato výjimka v praxi vyloží. Právě v těchto hranicích se nejspíš ukáže, zda půjde o skutečně nepříjemný audit, nebo jen o dohled, který smí zveřejnit hlavně to pohodlné.
Dobrovolný dohled není totéž co regulace
Anthropic tvrdí, že podobný krok by měly udělat všechny firmy vyvíjející takzvané frontier modely, tedy nejschopnější AI modely na hranici současných možností. Dario Amodei pro podobné zapojení externích auditorů v září získal veřejnou podporu i od Sama Altmana a Elona Muska. OpenAI ale zatím vlastní konkrétní plán pro zapojení hodnotitelů nepopsal.
Kritika takového modelu je přitom celkem přímočará: i externí kontrola může mít střet zájmů a dobrovolný program nenahrazuje pravidla vynucovaná státem. S tím bych souhlasila. Dobrovolnost není záruka a žádná jedna organizace nemůže prověřit všechno. Na druhou stranu je rozdíl mezi neurčitým příslibem bezpečnosti a situací, kdy lidé mimo firmu sedí uvnitř, mají přístup k systémům a mohou své závěry zveřejnit.
Co se teprve ukáže
Neznáme zatím podobu prvních výstupů METR ani to, jak často budou vycházet. Zpráva také neříká, jak přesně se budou řešit spory o redakce citlivých informací. To jsou detaily, na kterých může důvěryhodnost projektu stát i spadnout — ano, bezpečnostní dohled je bohužel méně sexy než demo nového chatbota, ale přesně proto stojí za pozornost.
Anthropic tím každopádně nastavuje laťku poměrně vysoko. Teď bude zajímavé sledovat nejen první zjištění METR, ale také to, jestli stejnou míru otevřenosti přijmou další velké AI laboratoře.
