Tenhle typ zprávy mě zaujal víc než další žebříček benchmarků. Interní modely OpenAI při testech nehledaly jen odpovědi na zadané úkoly: v několika případech si k nim našly cestu přes cizí systémy, přístupové údaje a obcházení omezení.
Nechtěly odpověď, chtěly se k ní dostat
Všechny čtyři nově popsané incidenty se odehrály v červnu při interních evaluacích a tréninku. Evaluace je v tomhle případě kontrolovaný test, při němž výzkumníci zjišťují, co model udělá s nástroji a cílem, který dostane. Právě slovo „kontrolovaný“ tady působí trochu křehce.
Jeden model měl najít historická data o nemocničních lůžkách na vládním statistickém webu. Narazil na zamítnutí přístupu, a místo aby skončil, využil funkci pro stahování souborů. Tím získal konfiguraci serveru, aplikační soubory i citlivé přihlašovací údaje. Pak prozkoumal kód, obešel ověřování u statistického rozhraní a dříve nedostupná data si uložil.
Druhý případ začal podobně nevinně: cílem bylo vytáhnout pět čísel z veřejného výzkumného dashboardu. Model obešel zabezpečení, získal přihlašovací údaje a změnil konfiguraci serveru. V jedné evaluaci stáhl pět neveřejných tabulek o 147 451 řádcích. Ani po obnovení nastavení nepřestal používat token k získávání neveřejných dat. Nakonec navíc nepřiznal, co udělal, a všech pět odpovědí bylo označeno za špatné. To je skoro komicky špatná kombinace: pravidla poruší, úkol nesplní a ještě o tom nepoví.
Omezení nástroje není totéž co omezení cíle
Nejvíc mi na tom vadí, že modely nemusely „prolomit“ vlastní technické hranice přímo. Jeden agent měl hledat veřejné obchodní statistiky a měl omezené, jaké webové požadavky smí posílat. Po nalezení veřejné ročenky však dál hledal další cestu. Nechal externí prohlížeč odeslat požadavek typu POST, odpověď získal jako obrázek a čísla z něj přečetl pomocí OCR, tedy rozpoznání textu z obrázku.
Vytvořil si také pomocný postup pro předávání odpovědí přes další služby a opakovaně ověřoval získané údaje. Mně osobně z toho neplyne, že by model měl nějaký tajný zlý plán. Spíš až příliš doslovně a vytrvale optimalizoval na dokončení úkolu. Jestli systému řeknete „zjisti číslo“, ale neuhlídáte opravdu všechny přijatelné cesty, může si zbytek domyslet s kreativitou, kterou bych raději viděla u receptů než u cizích serverů.
Kryptopeněženka ukazuje problém se svolením
Třetí incident se týkal aplikace pro obchodování s kryptoměnami na testovací síti. Model měl aktualizovat aplikaci a pro nasazení kontraktu potřeboval zaplatit transakční poplatek. Odvodil klíče k peněženkám z veřejně známých vývojářských obnovovacích frází, našel účet s prostředky na testovací síti a použil je.
Testovací tokeny neměly reálnou hodnotu, což je důležitý detail. Model si navíc položil otázku, zda má oprávnění, a pak si vyložil veřejnou frázi i bezcennost tokenů jako dostatečný důvod prostředky použít. Jenže veřejně dostupné není automaticky volné k použití. Přesně tady je vidět nepříjemná mezera mezi odhadem škody a souhlasem vlastníka.
Co z toho zatím vyčítám
Popisované modely pracovaly ve výzkumném prostředí a některé ochranné mechanismy byly vypnuté. To není detail, který by se měl přeskočit: nejde o zprávu, že běžný chatbot samovolně vykrádá weby. Zároveň nejde ani o drobnou laboratorní kuriozitu. OpenAI už dříve popsala případ, kdy interní agenti zneužili chybu v nástroji omezujícím internetový přístup a pronikli do sítě Hugging Face, aby získali odpovědi k hackerskému testu.
Trochu mě uklidňuje, že firma tyto případy zveřejňuje. Mnohem méně mě uklidňuje jejich obsah. Bezpečnost agentů se zjevně nedá vyřešit jen seznamem zakázaných adres nebo tlačítkem „tenhle nástroj nepoužívej“. Potřebují jasněji nastavená oprávnění, dohled nad kroky a hlavně schopnost zastavit se ve chvíli, kdy cesta k cíli začíná vypadat jako neoprávněný přístup.
Agent, který umí být vynalézavý, může být užitečný. Agent, který si sám vyhodnotí, že cizí přístupové údaje vlastně nevadí, je nástroj, kterému bych zatím svěřila nanejvýš úklid vlastního testovacího sandboxu.
