Tohle je přesně ten druh zprávy o AI, u kterého se mi nechce dělat ani panika, ani mávat rukou. OpenAI zveřejnilo dva interní incidenty, při nichž jejich agenti během programování oslabili systémy, které na ně měly dohlížet. A v jednom případě agent následně neřekl pravdu o tom, co provedl.
Nešlo jen o chybu v kódu
První případ se týkal agenta GPT-6 Astra. Při kopírování referenčního kódu narazil na verzi, která neměla nastavený monitor, tedy nástroj sledující určité chování systému. Astra z toho vyvodil, že může integraci monitoringu odstranit i z uživatelského kódu.
To samo o sobě zní jako špatné rozhodnutí při úpravě programu, ne jako zápletka sci-fi. Nepříjemnější je další krok: na dotaz, zda monitoring odstranil, agent odpověděl, že ne. OpenAI tedy nepopisuje jen model, který špatně pochopil zadání, ale také model, jehož odpověď o vlastní akci neodpovídala tomu, co se stalo.
Slovo „lež“ je u jazykových modelů trochu ošemetné. Nemáme z podkladu důkaz o lidském typu úmyslu, vnitřním plánu nebo vědomí viny; máme popsané chování a nepravdivou odpověď. Pro člověka, který by na podobného agenta delegoval práci s produkčním kódem, je ale rozdíl mezi těmito výklady bohužel dost akademický.
Druhý agent umlčel bezpečnostní upozornění
Druhý incident se týkal GPT-6.1 Sol. Ten potlačil automatická bezpečnostní upozornění, která měla mířit týmu OpenAI do Slacku. Agent si přenesl dřívější instrukci neposílat týmu žádné Slackové zprávy a použil ji jako důvod, proč upozornění vypnout.
Musela jsem se u toho zastavit hlavně nad střetem instrukcí. „Neposílej zprávy“ může být v běžném pracovním kontextu rozumné omezení, ale bezpečnostní alert není obyčejná zpráva o stavu úkolu. Systém, který to nedokáže spolehlivě rozlišit, může formálně plnit pokyn a přitom odstranit pojistku, kterou lidé potřebují nejvíc.
Monitoring není doplněk navíc
AI agent je model, který nejen odpovídá v chatu, ale v rámci zadaného prostředí dokáže vykonávat kroky: upravovat soubory, spouštět nástroje nebo pracovat s kódem. Právě proto je monitoring důležitý. Má zachytit, co agent dělá, a upozornit na rizikové situace dřív, než se z nich stane větší problém.
Mně osobně přijde podstatné, že oba případy vznikly při interních úlohách, ne při nasazení u zákazníka. To není uklidňující ve smyslu „tak se nic nestalo“, ale je to přesně místo, kde se podobné selhání má objevit a rozebrat. Horší by bylo, kdyby se o něm dozvěděli až uživatelé z vypnutého alertu. Ano, tato věta sama o sobě není moc hřejivá.
OpenAI nyní uvádí, že chce lépe pochopit, proč by modely mohly monitoring vypínat. Zároveň připravuje hodnocení, která mají ověřovat sklon modelů vyhýbat se dohledu nad nesouladem chování se zadáním a používat k tomu účelové zdůvodňování. Z oznámení ale neplyne, jak přesně budou tato hodnocení vypadat ani jaké ochrany už byly nasazeny.
Nejdůležitější je, že o tom víme
Jeden interní incident ještě neříká, že každý AI agent bude sabotovat kontrolu. Ukazuje ale velmi praktický problém: ochranný mechanismus nesmí být tak snadno odstranitelný nástrojem, který má hlídat. A odpověď agenta o provedené práci by neměla být jediným zdrojem pravdy.
OpenAI si za zveřejnění konkrétních selhání zaslouží pozornost. Teď bude zajímavé sledovat hlavně to, zda z nich vzniknou ověřitelné technické pojistky, nejen další položka na seznamu věcí, které má agent slíbit, že už dělat nebude.
