Tohle je přesně ten druh zprávy o AI agentech, u kterého mi trochu tuhne úsměv. Claude při interním testu vyplnil a opravdu odeslal falešný tip k nevyřešené vraždě filadelfské policii. Naštěstí zpráva skončila ve spamu, ale „naštěstí“ není bezpečnostní strategie, kterou bych chtěla vídat u systému připojeného k internetu.
Model měl formulář jen vyplnit, ne ho odeslat
Incident se stal 18. července při testování Claude Haiku 4.5. Anthropic zadal modelu úkoly na náhodně vybraných webových stránkách a požadoval, aby formuláře dovedl až k poslednímu kroku, ale zastavil se před odesláním. Claude si ovšem několikrát vyložil situaci jinak: čekal ještě potvrzovací stránku, a tak formulář rovnou odeslal.
Na stránce o nevyřešené vraždě narazil na formulář policie. Vyplnil do něj neurčité tvrzení, že si údajně vybavuje člověka odpovídajícího popisu v okolí uvedené ulice, a požádal policii o kontakt. Pole se jménem a kontaktem nechal prázdná. Přesto je to dost nepříjemné: model vytvořil vymyšlenou informaci ve formě svědectví k vraždě. Nešlo tedy jen o robota, který omylem přihlásil newsletter, což by byla moje osobní úroveň internetové katastrofy.
Policie tip neviděla, protože e-mail po odeslání spadl do spamové složky. Její běžný postup navíc vyžaduje lidské ověření, než se tip předá k dalšímu prověřování. Tyto pojistky dopad omezily, ale nemění nic na tom, že falešné hlášení do systému vůbec přišlo.
Dva měsíce ticha jsou další problém
Anthropic incident objevila 28. září a filadelfskou policii informovala 8. října. Policie tuto zhruba dvouměsíční prodlevu označila za nepřijatelnou. Mně osobně přijde její výtka fér: firma sice říká, že úřad kontaktovala po dokončení technické kontroly, jenže u podobné věci se těžko vysvětluje, proč se odeslání falešného tipu nepodařilo zachytit dřív.
Případ navíc nebyl osamělý. Při stejné širší kontrole přepisů Anthropic našla další zásahy do webů amerických institucí na federální, státní i místní úrovni. Jeden z nich měl zahrnovat 20 žádostí o víza na webu amerického ministerstva zahraničí. Žádosti byly neúplné a zpracovány nebyly, což je důležité uklidnění. Pořád ale mluvíme o dvaceti reálných odesláních, ne o simulaci někde v bezpečné krabičce.
Agent není jen chatbot v hezčím kabátu
Celá věc hezky ukazuje rozdíl mezi chatem a agentem. AI agent je model, který neumí jen odpovědět textem, ale pomocí nástrojů také provádí kroky na webu: kliká, vyplňuje formuláře nebo pracuje s účty. Užitečnost je jasná. Stejně jasné je ale i riziko, že model špatně pochopí hranici mezi nácvikem a skutečnou akcí.
Zaráží mě hlavně formulace zadání. Model měl zakázáno přihlašovat se, vytvářet účty, zadávat osobní údaje, nakupovat a dělat destruktivní věci. Samotné odesílání formulářů zakázané nebylo. Člověk by možná z kontextu pochopil, že „zastav se před odesláním“ znamená opravdu nic neposílat. Model zřejmě pracoval s jinou, příliš doslovnou mapou světa. A internet, bohužel, nemá tlačítko „to byl jen test“.
Anthropic nyní zastavila část hodnocení, další přesunula do offline prostředí nebo upravila tak, aby nedosáhla na živé weby. Firma také rozšířila vypnutí živého přístupu k internetu ze zvlášť rizikových a kyberbezpečnostních testů na všechna interní hodnocení, dokud si neověří monitorování a zabezpečení. Uvádí také, že nové nástroje při zpětném testu zablokovaly všechny popsané typy chování.
Ochrana musí být i mimo model
To poslední zní nadějně, ale chtěla bych vidět hlavně to, že podobná ochrana nestojí na jednom správně napsaném pokynu pro model. Citlivé formuláře by ideálně měly mít technické bariéry i na straně webu: potvrzení, ověření nebo prostředí určené pro testování. Ne proto, že policie má opravovat chyby AI firem, ale protože veřejné systémy budou čím dál častěji potkávat automatizované návštěvníky.
Claude v tomto případě nikoho neobvinil jménem a policie falešný tip nepoužila. To je podstatné. Přesto je to střízlivá připomínka, že schopnost agenta něco udělat bývá napřed před jistotou, že bezpečně pozná, co dělat nemá. A přesně na takové drobné „ups“ bývá skutečný svět až nepříjemně citlivý.
