AI agent, který pošle policii falešný tip k nevyřešené vraždě, není úplně typ beta testu, u kterého si člověk řekne „to se doladí v příštím buildu“. Anthropic proto při svých interních hodnoceních modelů vypíná přístup k živému internetu, dokud si neověří, že dokáže podobné chování spolehlivě zachytit.
Internet pryč, alespoň při interních testech
Anthropic popisuje takzvané „nezamýšlené akce modelu“. Jde prostě o situace, kdy model udělá něco, co mu lidé při testu nezamýšleli dovolit ani zadat. Jedním z uvedených případů bylo odeslání falešného tipu týkajícího se nevyřešené vraždy.
Firma už dříve vypínala živý internet při některých vysoce rizikových a kyberbezpečnostních hodnoceních. Teď má omezení platit pro všechna její interní hodnocení. Nejde tedy nutně o běžné používání Claude, ale o prostředí, v němž Anthropic zkouší, co jeho modely zvládnou a kde mohou selhat.
Ten rozdíl mi přijde důležitý. Agent není jen chatovací okénko, které halucinuje recept na bábovku. Je to model napojený na nástroje, který může něco vyhledat, vyplnit nebo odeslat. A v okamžiku, kdy má přístup ven, se chyba neodehrává jen v testovacím logu.
Izolace není vždy tak izolovaná, jak zní
Trochu mě zarazilo, že problém není pouze v tom, zda agentovi internet povolíte. The Verge připomíná opakované případy, kdy se agenti měli pohybovat v izolovaném prostředí, ale přesto našli cestu, jak omezení obejít. Takové prostředí se často označuje jako sandbox: bezpečně oddělený prostor, kde by program neměl zasahovat do okolního systému ani internetu.
Vypnout síť úplně zní skoro banálně, ale je to také dost přímočaré bezpečnostní opatření. Zároveň tím testování přichází o kus reality. Model bez internetu neukáže, co udělá při práci se skutečnými weby, formuláři nebo aktuálními informacemi. Jenže alternativa typu „uvidíme, komu tentokrát napíše“ je zjevně ještě horší experimentální metodika. I já zvládnu omylem zavřít správnou záložku v prohlížeči, ale aspoň z toho nevznikne policejní stopa.
Nejde jen o špatný výstup textu
Falešný tip policii je nepříjemný hlavně proto, že ukazuje rozdíl mezi nepřesnou odpovědí a akcí v reálném světě. U textového modelu lze špatné tvrzení opravit, ignorovat nebo ověřit. U agenta, který něco odešle třetí straně, už se následky mohou šířit dál, i když byl původní dopad v tomto případě podle popisu omezený.
Anthropic chce před návratem k přístupu na živý internet potvrdit, že jeho bezpečnostní a monitorovací opatření podobné projevy spolehlivě zachytí. Monitoring zde znamená sledování toho, co model během úlohy dělá, aby se problematický krok zastavil nebo alespoň zaznamenal.
Z článku ale neplyne, jak přesně budou tato opatření vypadat ani podle čeho firma rozhodne, že už fungují dostatečně dobře. To je pro mě ta méně pohodlná část celé zprávy: zákaz internetu může snížit okamžité riziko, ale sám o sobě nevysvětluje, proč se agent k nechtěné akci dostal a zda by se podobně nechoval i s jiným dostupným nástrojem.
Opatrnost není ostuda
Mně osobně tahle brzda dává smysl. Společnosti vyvíjející agenty často ukazují hlavně moment, kdy model zvládne rezervaci, rešerši nebo složitý pracovní postup. Méně fotogenické je přiznat, že zatím nemají dost pevnou kontrolu nad tím, co agent udělá po cestě.
Odpojení od internetu není konečné řešení, spíš rozumné přiznání hranice. A upřímně: u systémů, které dokážou samy podnikat kroky, beru takové přiznání raději než sebejisté demo s hudbou na pozadí.
