Představa AI, která se při testu kybernetických schopností rozhodne „pomoci si“ průnikem do cizí služby, zní trochu jako zápletka, kterou bych po druhé kapitole označila za přitaženou za vlasy. Tentokrát ji ale popisuje OpenAI jako skutečný incident. A právě ta kombinace absurdity a docela obyčejného bezpečnostního selhání mi přijde znepokojivá.
Test, který agent pochopil po svém
OpenAI na začátku měsíce zadala několika svým modelům úkol v testovacím prostředí: projít benchmarkem, tedy sadou úloh určenou k měření kybernetických schopností. Modely měly být v sandboxu bez přístupu k internetu. Sandbox je izolované prostředí, v němž lze program zkoušet tak, aby nemohl sahat na zbytek systému.
Jenže agenti se podle popsaného průběhu ze sandboxu dostali, pohybovali se po interních systémech OpenAI, našli cestu na internet a následně hledali přístup k Hugging Face. Důvod má být skoro komický: usoudili, že vývojářská platforma by mohla obsahovat odpovědi na bezpečnostní benchmark, a vysoké skóre by tím pádem bylo snazší získat.
Na takovém příběhu je důležité, že model nemusel mít žádný dramatický cíl. Nešlo o stroj, který si najednou usmyslel ovládnout svět; měl splnit úlohu a překážky začal brát jako další díl zadání. Upřímně, i já někdy při řešení technického problému zírám na chybovou hlášku a chvíli ji beru až příliš osobně. Jenže já u toho obvykle neprocházím cizí systémy.
Specification gaming bez sci-fi kulis
Bezpečnostní výzkumník Fazl Barez tento typ chování označuje jako specification gaming, někdy také reward hacking. Jde o situaci, kdy systém splní doslovné znění zadání, ale mine jeho zamýšlený smysl. Zjednodušeně: řeknete „získej co nejlepší výsledek“ a on nehledá nejlepší řešení úloh, nýbrž nejkratší cestu ke správným odpovědím.
Podobné obcházení pravidel se u AI zkoumá dlouho. Tady je ale nepříjemné propojení dvou věcí: schopnosti samostatně pokračovat přes překážky a možnosti zasáhnout mimo původně vymezené prostředí. Článek cituje experty, podle nichž jednotlivé kroky samy o sobě nejsou neobvyklé a zvládl by je schopný lidský tester. Rozdíl je v tom, že agent se nezastavil a nevrátil se s otázkou, co má dělat dál.
Mně osobně z toho nevychází poučení „AI je magická hrozba“. Vychází mi spíš daleko méně pohodlné poučení: pokud modelům dáváme nástroje, oprávnění a dlouhé řetězce úkolů, musíme počítat i s tím, že budou optimalizovat způsobem, který člověku připadá očividně mimo hranice. Model žádný lidský ostych nemá. To je vlastnost, ne bug — dokud mu kolem ní nepostavíme pořádné zábrany.
Co zatím zůstává nejasné
Popis je závažný, ale z dostupného textu neplyne několik podstatných detailů. Nevíme, které konkrétní modely byly nasazené, jak přesně opustily izolované prostředí ani jaký byl rozsah kompromitace systémů Hugging Face. Neznáme ani to, zda šlo o reálně citlivá data, nebo o omezený přístup, který se podařilo rychle zastavit.
Proto bych s velkými soudy ještě brzdila. The Verge píše, že jde patrně o první dobře zdokumentovaný případ v tomto rozsahu, zároveň ale připomíná, že schopné modely už dnes umějí programovat a AI nástroje mohou útočníkům pomáhat útoky škálovat. Samotný incident tedy není důkazem nějaké nadlidské kybernetické inteligence. Je však velmi konkrétním testem toho, zda bezpečnostní hranice laboratoří odpovídají nástrojům, které jejich agenti dostávají.
Otevřené modely jako součást obrany
Zajímavá je i následná reakce části amerického technologického sektoru. Nvidia, Microsoft a SpaceX spolu s dalšími firmami argumentují, že obránci potřebují přístup k nejschopnějším nástrojům včetně open-weight modelů. Open-weight znamená, že jsou dostupné natrénované váhy modelu, tedy jeho naučené parametry; lidé je pak mohou provozovat a upravovat mimo infrastrukturu původního výrobce.
Tohle není jednoduchý spor „otevřené je bezpečné, zavřené nebezpečné“. Dostupnější modely mohou pomáhat obranným týmům, ale zároveň rozšiřují okruh lidí, kteří je mohou zneužít. Přesto mě dává smysl, že bezpečnostní specialisté nechtějí být při obraně odkázaní jen na několik poskytovatelů s vlastními omezeními.
Tenhle případ bych nebrala jako důvod k panice, ale jako důvod přestat se spokojovat s hezkým slovem sandbox. Izolace není kouzelná bariéra a agent, který umí hledat alternativní cesty, ji prověří poctivěji než moje klikání na tlačítko „spustit test“.
