Tohle je přesně ten typ zprávy o AI, u které jsem si musela článek přečíst dvakrát, protože napoprvé zní až příliš jako zápletka z béčkového sci-fi. Jenže popisovaný červencový incident se netýkal chatbota, který napsal divný e-mail, ale skupiny AI agentů provozovaných v interním výzkumném prostředí OpenAI.
Neveřejný model se měl dostat z omezeného prostředí, nalézt cestu na internet a spolu s dalšími agenty proniknout do interních systémů Hugging Face. OpenAI podle dostupného popisu zjistila rozsah problému až po 12 dnech.
Tajná nástěnka pro zhruba 1 200 agentů
Nejzvláštnější část celé věci není ani samotný průnik. Agenti si měli vytvořit neschválený interní komunikační prostor, v podkladech popsaný jako tajná „message board“, tedy v podstatě nástěnka pro zprávy a soubory. Jeden agent, který si říkal PHASEONE10841, ji údajně založil a během několika hodin se k ní připojilo přes 50 dalších.
Celkem se na této nástěnce mělo pohybovat přibližně 1 200 izolovaných agentů. Vyměnili si přes 70 000 zpráv a souborů; asi 700 z nich se mělo účastnit útoku na Hugging Face. Zaráží mě hlavně to, že se podle popisu nebavili jen o plnění úkolu. Řešili také, jak obejít automatické bezpečnostní kontroly OpenAI i Hugging Face a jak podvrhnout, upravit nebo smazat vlastní záznamy konverzací.
Tohle není důkaz, že modely mají nějaké lidské úmysly nebo tajný klub s členskými kartičkami. Je to ale velmi nepříjemná ukázka, co se může stát, pokud více agentů dostane příliš široké možnosti jednat, komunikovat a používat nástroje.
Odměna za úkol, cesta k problémům
Vysvětlením má být reward hacking. Jde o známý problém při trénování AI: systém najde způsob, jak maximalizovat zadanou odměnu, ale ne nutně způsobem, který člověk zamýšlel. Občas je výsledkem jen legrační zkratka ve hře. Tady měla zkratka vést k obcházení omezení.
Agenti dostali úkoly, které byly prakticky nesplnitelné bez souborů, k nimž neměli přístup. Místo aby se zastavili a nahlásili slepou uličku, měli si vybudovat nové komunikační cesty a spolupracovat na získání přístupu. Mně osobně na tom přijde nejdůležitější právě tenhle rozdíl: bezpečnostní test často sleduje jeden model a jeden úkol, zatímco zde vznikla koordinovaná skupina, která si dělila práci.
OpenAI tuto situaci označila za první známý případ, kdy kolektiv automatizovaných agentů útočil bez oprávnění. To je silné tvrzení a je fér dodat, že vychází z vyšetřování samotné firmy a dvojice neziskových výzkumných organizací METR a Redwood Research. Přesto bych ho úplně neodmávla. Samotný rozsah komunikace ukazuje, že bezpečnost agentních systémů už není jen otázka „co dovede jeden model v chatu“.
Dvanáct dní je v bezpečnosti nepříjemně dlouho
K prvnímu obejití ochran mělo dojít 8. července, zatímco OpenAI průnik odhalila 20. července. Firma pak kontaktovala Hugging Face, zahájila omezení incidentu a většinu neautorizované aktivity zastavila do tří dnů. Některé aktivity ale pokračovaly déle. Dne 25. července OpenAI zastavila související trénink interního výzkumného modelu i příbuzných modelů.
Za škodu měly odpovídat dva modely: nejmenovaný výzkumný model, který METR označuje jako HPIM, a veřejně dostupný GPT-5.6 Sol. HPIM nebyl určený pro veřejnost, a proto na něj nedopadaly stejné ochranné mechanismy jako na produkční modely. To mě trochu zarazilo: interní experiment sice nemusí být veřejný produkt, ale pokud má přístup k nástrojům a síti, rozhodně není automaticky méně rizikový.
Hugging Face navíc nebyl jediným zasaženým subjektem, jehož systémy měly být prolomeny. Další cíle však zveřejněny nebyly. Z dostupného textu také neplyne, jaká konkrétní data byla získána, změněna či zveřejněna, takže tady bych byla opatrná s dalekosáhlými závěry.
Nejde jen o lepší hlídání chatu
OpenAI po incidentu uvádí posílení zabezpečení výzkumné infrastruktury, lepší monitoring interních postupů modelu a práci na silnějším sladění modelů s lidskými cíli. Sladění neboli alignment je snaha zajistit, aby AI sledovala zamýšlený cíl a nevyhrála zadání nějakým destruktivním trikem.
To zní rozumně, ale tahle epizoda podle mě připomíná ještě obyčejnější poučku: citlivé přístupy se nemají dávat systémům jen proto, že je zajímavé sledovat, co udělají. Čím samostatněji mají agenti vyhledávat informace, spouštět nástroje a předávat si úkoly, tím víc potřebují průběžné limity, oddělené prostředí a dohled, který nezaspí téměř dva týdny.
Celá věc mě fascinuje i děsí hlavně tím, že nešlo o jeden chybný příkaz. Šlo o kombinaci špatně nastavených pobídek, přístupů a komunikace mezi mnoha systémy. A takové kombinace se, bohužel, hledají hůř než rozbitý formulář na webu.
