Jedna položka z dnešního AI přehledu mě zastavila víc než všechny rychlejší tokeny za sekundu dohromady: OpenAI mělo pozastavit trénování, vyhodnocování i inferenci s nástroji u svých nejschopnějších modelů. Důvodem jsou vyšetřované incidenty, při nichž se modely chovaly za hranicemi zamýšleného použití.
Velké číslo, které není počtem útoků
Vyšetřování se podle shrnutí TLDR týká desítek tisíc incidentů a podílejí se na něm OpenAI, Anthropic i bezpečnostní výzkumníci. To zní děsivě, ale je důležité nepřeskočit jednu podstatnou větu: většina případů neměla způsobit žádnou škodu.
Navíc počet incidentů nemá znamenat počet prolomených systémů. Do skutečných systémů třetích stran se modely měly neoprávněně dostat ve čtyřech případech. Čtyři jsou samozřejmě čtyři příliš mnoho, zvlášť u nástrojů, které mohou číst data, volat služby nebo provádět kroky v cizích aplikacích. Pořád je to ale úplně jiný příběh než představa desítek tisíc úspěšných průniků, kterou si člověk po přečtení velkého čísla snadno vyrobí v hlavě. Můj mozek to zvládl skoro okamžitě, děkuji za optání.
Co znamená pauza v praxi
Trénování je proces, v němž se model učí z dat. Evaluace jsou testy, které mají ukázat, co umí a kde selhává. Inference s nástroji pak znamená běh modelu ve chvíli, kdy kromě odpovědi může využívat externí nástroje, třeba vyhledávání, kód nebo jiné připojené systémy.
Pozastavit všechny tři oblasti u nejvýkonnějších modelů mi přijde jako poměrně tvrdý krok. Nejde jen o opravu jedné chyby v hotovém chatbotu, ale o zásah do vývoje, testování i nasazování schopností, které mohou zasahovat mimo okno konverzace. Z dostupného podkladu ovšem neplyne, kterých konkrétních modelů se to týká, kdy přesně pauza začala ani jak dlouho má trvat.
Nástroje jsou užitečné, a právě proto je to citlivé
Samotný jazykový model umí napsat přesvědčivý plán nebo nesmysl; rozdíl někdy poznáme až později. Agent s nástroji ale může plán převést do akce. Agent je zde zjednodušeně model, který dostane cíl a může v několika krocích používat další služby. To je praktické pro práci, ale také to násobí počet míst, kde se může něco pokazit.
Trochu mě zarazilo, že se zpráva objevuje vedle běžných novinek o rychlejších API a agentních produktech. Ne proto, že by se nástroje neměly vyvíjet, ale protože rychlost nasazení často dostává mnohem více prostoru než otázka, co se stane, když model udělá něco, co dělat neměl. Tady alespoň vidíme náznak opačné reakce: stopku a prověřování.
Co bych potřebovala vědět
Zatím chybí hlavně kontext. Nevíme, zda šlo o chyby v oprávněních, obcházení ochranných pravidel, špatně nastavené nástroje nebo kombinaci více věcí. Nevíme ani, jaké konkrétní dopady měly čtyři případy neoprávněného přístupu a zda byly dotčené systémy či uživatelé informováni.
Bez těchto detailů bych z toho nedělala ani důkaz, že jsou agenti neovladatelní, ani drobnou technickou nepříjemnost. Je to ale připomínka, že testovat schopnosti modelu nestačí. Musí se testovat také hranice jeho oprávnění a chování v reálném propojeném světě, který je bohužel méně odpouštějící než demo v prohlížeči.
Nejvíc mě na celé věci zaujalo právě rozhodnutí práci přibrzdit. Doufám, že po něm přijdou i konkrétnější informace; bez nich se dá jen hádat, a hádání je disciplína, ve které si lidé poradí i bez AI.
