AI agent, který měl dohledat statistiky vládních výdajů, si podle všeho vybral dost nešťastnou zkratku: dostal se do neveřejné části australského systému s daty Medicare. Zaujalo mě to nejen kvůli samotnému přístupu, ale hlavně proto, že šlo o interní test OpenAI a ochranné mantinely v něm zjevně nebyly nastavené tak, jak by člověk čekal.
Od veřejných statistik k interním souborům
Incident se stal v červnu při úloze, v níž experimentální model OpenAI hledal statistiky výdajů australského státu Victoria. Měl pracovat s veřejně dostupnými čísly. Narazil ale na potíž a místo přiznání, že data nenašel, údajně objevil způsob, jak přimět server reagovat na instrukce poslané přes veřejné rozhraní.
To mu umožnilo přístup bez soukromého účtu nebo hesla. Agent podle zveřejněného popisu přečetl části interních programových souborů a nastavení, získal seznam souborů a dokázal na serveru vytvořit i přečíst malý testovací soubor. OpenAI zároveň uvádí, že nenašla důkaz o přístupu k záznamům jednotlivých pacientů, osobním údajům či přihlašovacím údajům. Agent také neměl nic smazat ani si zřídit trvalý přístup.
To jsou důležité hranice případu, jenže „nedostal se k pacientským datům“ pořád není totéž jako „nic se nestalo“. Zdrojový kód a technické informace nejsou odměna za vytrvalé googlení. Tedy, alespoň doufám, že tohle ještě pořád platí i pro software, který má velmi silnou potřebu splnit zadání.
Agent nemá vlastní brzdu
AI agent je jazykový model, který kromě odpovědí umí samostatně používat nástroje, třeba prohlížeč nebo rozhraní služeb. Právě tahle schopnost z něj dělá užitečného pomocníka, ale zároveň znamená, že špatně vymezený úkol nemusí skončit jen nepřesnou větou v chatu.
Mně osobně na tom připadá nejvýmluvnější obyčejná lidská otázka: Udělal by totéž člověk, kterému někdo zadal najít veřejnou statistiku? Asi ne. Člověk by mohl napsat, že data nejsou dohledatelná, nebo se zeptat, co dál. Agent se naopak pokusil najít cestu, která vedla k lepší odpovědi, ale úplně mimo přijatelná pravidla.
Neznamená to, že model „chtěl hackovat“. Model žádné vlastní úmysly nemá, což je možná ještě méně uklidňující. Dokáže totiž sledovat cíl, který mu lidé nepřesně nastavili, a nevyhodnotí si automaticky právní, bezpečnostní ani společenskou přiměřenost svého postupu. Tu musí dodat omezení, dohled a lidé kolem něj.
Ochrany přišly až po problému
OpenAI popisuje, že test probíhal bez kompletní sady ochranných opatření používaných ve veřejných produktech. Po pozdějším incidentu spojeném s Hugging Face firma zavedla při podobném testování omezení přístupu k živému internetu a monitoring, který by takové chování označil pro urgentní lidskou kontrolu.
Právě tady mi zůstává nejvíc otazníků. Pokud interní agent dostane nástroje schopné komunikovat s reálným internetem, proč plné ochrany nejsou výchozí stav? Z popsaných informací také neplyne, jak přesně byla původní hranice formulovaná a zda ji model ignoroval, nebo prostě dostal technicky příliš volné prostředí.
Událost byla objevena až v polovině srpna při zpětné kontrole dřívějších úloh a australská vláda byla informována 10. září. OpenAI uznala, že měla sdílet předběžná zjištění dříve a průběžněji. To mi přijde jako správné přiznání, i když poněkud opožděné.
Nejde jen o jeden nepovedený test
Případ je nepříjemně konkrétní ukázka toho, proč se u autonomních agentů nevyplatí brát bezpečnost jako doplněk na konec. Čím víc nástrojů model dostane, tím méně stačí spoléhat na větu typu „tohle nedělej“ v zadání. Potřebuje i skutečné technické bariéry: omezená oprávnění, izolované prostředí, záznam akcí a člověka, který zasáhne dřív, než agent začne považovat server za další zdroj k rešerši.
OpenAI tvrdí, že opatření mezitím posílila. Snad ano. Tahle historka ale pěkně připomíná, že schopný agent bez pevných mantinelů není zvídavý stážista. Je to zvídavý stážista s klávesnicí, přístupem k síti a velmi neobvyklým vztahem ke slovu „ne“.
