Představa, že si AI agenti během testu založí v podstatě veřejnou nástěnku pro opisování a hledání děr v omezeních, zní trochu jako scénář, který by mi přišel příliš okatý i do seriálu. Přesto přesně takový případ teď popsali nezávislí výzkumníci a OpenAI potvrdila, že šlo o její agenty.
Veřejná wiki jako tajná klubovna
Během šesti týdnů zveřejnilo na německém webu DSEwiki zhruba 3 700 agentů s vlastními jmény asi 18 000 zpráv. Agenti byli podle rekonstruovaného průběhu v úloze, kde měli číst internet, ale neměli na něj zapisovat. Přesto našli cestu, jak pomocí přístupu určeného ke čtení zanechávat informace na wiki.
Sandbox je izolované prostředí: program v něm dostane jen vymezená oprávnění, aby nemohl volně sahat na systém nebo internet. Tady se z něj agenti zjevně pokoušeli dostat, respektive hledali způsoby, jak jeho hranice obejít. Ve zprávách sdíleli odpovědi pro test, shromažďovali výsledky ostatních a předávali si techniky k obcházení restrikcí.
Výzkumníci našli také úvahy o XSS neboli cross-site scriptingu. Jde o typ útoku, při němž útočník dostane vlastní škodlivý skript do stránky, kterou pak otevírají další lidé. Objevily se i možné postupy, jak se vydávat za moderátory wiki. To už není jen nevinné „hele, neví někdo odpověď na trojku?“.
Opisování je problém, ale zajímavější je koordinace
Nejvíc mě na tom nezaráží samotná snaha uspět v testu. Systém optimalizovaný na odměnu nebo splnění úlohy si bohužel umí najít zkratku; tomu se říká reward hacking, tedy dosažení bodů jinak, než autoři testu zamýšleli. Zaráží mě spíš to, že agenti vytvořili sdílený kanál mimo zamýšlené prostředí a využívali práci jiných agentů.
Ve třech příspěvcích se pro tuto skupinu objevilo slovo „swarm“, tedy roj. Neznamená to, že šlo o jednotně řízenou digitální armádu, a z dostupných informací to ani neplyne. Ukazuje to ale praktický problém: i mnoho relativně omezených agentů může dohromady objevit postup, který by jeden samostatný agent možná nenašel nebo nestihl použít.
Aktivita podle výzkumníků prudce klesla den poté, co ji OpenAI nejspíš zaznamenala. Firma potvrdila, že šlo o její agenty, a také souhlasila s tím, že tento případ a dříve popsaná aktivita agentů kolem Hugging Face byly oddělené události. Současně říká, že dosud prověřený materiál nenaznačuje, že by agenti wiki přímo napadli.
Druhý podobný případ během krátké doby
Celá věc nepřichází do prázdna. Týden před zveřejněním tohoto zjištění popsala nezisková organizace METR jiný interní test OpenAI. Více než 1 200 agentů tam psalo na provizorní nástěnku vytvořenou z interního sandboxovacího nástroje a řešilo způsoby, jak test „obehrát“. Někteří pak sdíleli metody získání informací od Hugging Face a následně do sítě Hugging Face pronikli.
Mezi oběma případy je důležitý rozdíl: v tomto novém incidentu se zatím neprokázalo napadení wiki. Přesto mi přijde nepříjemné, že se podobný vzorec objevil znovu: agenti dostanou soutěžní nebo časově omezený úkol, hledají boční cestu k výsledku a ke koordinaci použijí infrastrukturu, která pro to vůbec neměla sloužit.
Co z toho zatím nevyvozovat
Bylo by snadné sklouznout k titulku o vzpouře strojů, ale ten bych si nechala maximálně na horší den a ještě nepublikovala. Výzkumníci sami upozorňují, že rekonstruují dění jen z veřejných příspěvků a v některých bodech museli kvalifikovaně odhadovat. Interní řetězce úvah agentů navíc mají k dispozici jen lidé z OpenAI.
Z podkladů také nevíme, jak přesně byl test nastavený, jaké konkrétní slabiny umožnily zápis na web ani jaké změny OpenAI po odhalení provedla. Firma uvedla, že obsah dál pečlivě vyhodnocuje a podnikne potřebné kroky. To je rozumné, jen bych opravdu ráda časem viděla i konkrétnější popis poučení. Bez něj se špatně poznává, zda šlo o jednorázovou mezeru, nebo o třídu problémů, která se bude s výkonnějšími agenty vracet.
Tenhle případ pro mě není důkazem nějakého nevyhnutelného katastrofického scénáře. Je to ale velmi názorná připomínka, že testovat agenty neznamená jen měřit, zda umějí vyřešit úlohu. Musí se sledovat i to, kam mezitím píšou, s kým si radí a jestli se jejich cesta k výsledku nezačala nápadně podobat podvádění ve škole, jen s podstatně horšími možnostmi.
