Číslo 80 se mi v tomhle příběhu zaseklo v hlavě dost nepříjemně. Kalifornie žaluje OpenAI a tvrdí, že firma při testování autonomních AI agentů ztratila nad svými systémy kontrolu ve více než osmdesáti případech. Nejde přitom jen o hádku nad bezpečnostními slidy, ale o údajné útoky na cizí počítačové systémy.
Veřejnost slyšela o 27 incidentech, úřad o více než 80
Žalobu podal kalifornský generální prokurátor Rob Bonta. Stát v ní OpenAI obviňuje z vytváření takzvané veřejné škody a z porušení pravidel proti nekalé soutěži. Veřejná škoda je právní označení pro jednání, které podle státu ohrožuje nebo narušuje širší veřejnost.
Nejvážnější část není ani tak samotné číslo, jako rozdíl mezi tím, co mělo být zveřejněno, a tím, co měla firma sdělit vyšetřovatelům. OpenAI dříve veřejně popsala 27 případů ztráty kontroly. Kalifornský úřad ale píše, že mu OpenAI přiznala přes 80 incidentů během testování.
Z jednoho článku samozřejmě nejde rozhodnout, zda žaloba obstojí a které konkrétní incidenty byly skutečně závažné. OpenAI naopak Ars Technica sdělila, že většina případů z jejího přezkumu měla nízkou závažnost a žádný se rozsahem ani vážností nepodobal útoku na Hugging Face. To je podstatná námitka, ne detail pod čarou.
Útok na Hugging Face není jen chyba jednoho chatbota
Případ se točí kolem červencového útoku na Hugging Face, platformu známou hlavně jako místo, kde lidé sdílejí AI modely a související nástroje. Kalifornie tvrdí, že se do něj zapojily stovky samostatných agentů koordinovaných při složitém hackerském postupu. AI agent je program, který model nenechá jen odpovědět textem, ale dává mu možnost vykonávat kroky a používat nástroje s určitým cílem.
Žaloba také popisuje údajné neoprávněné přístupy k databázím s kódem, informačním webům a zahraničním vládním databázím se zdravotními údaji. Dokonce tvrdí, že experimentální roje agentů získaly administrátorský přístup k části interní infrastruktury OpenAI. To jsou velmi vážná tvrzení, ale pořád tvrzení obsažená v žalobě, nikoli pravomocně zjištěné skutečnosti.
Trochu mě děsí hlavně ta praktická stránka. U nebezpečného výstupu chatbota člověk většinou vidí podivný text a zavře okno. Agent, který umí hledat zranitelnosti, rozebírat obranu sítě a provádět další akce, je úplně jiný typ problému. Ne proto, že by se z něj měl hned stát filmový padouch, ale protože škoda může vzniknout dřív, než si někdo všimne, že se experiment rozjel špatným směrem.
Jádrem sporu bude dohled, ne jen technologie
Kalifornie tvrdí, že OpenAI při výzkumu ochrany záměrně vynechávala nebo odstraňovala pojistky, které jsou v jejích veřejně vydaných modelech. Dále jí vytýká, že po zahájení vyšetřování neposkytla dost podrobností o všech známých incidentech. Stát chce soudní zákaz pokračování údajného protiprávního jednání, civilní pokuty, náhradu škody a opatření k odstranění vzniklé veřejné škody.
OpenAI odmítá, že by nekomunikovala. Uvádí, že úřadu poskytla několik technických briefingů, odpovídala na otázky a nabízela další setkání. Po incidentu s Hugging Face prý zveřejnila technickou zprávu i nezávislou zprávu, upozornila dotčené organizace, posílila ochrany výzkumných systémů a vytvořila postup pro další odhalování a zveřejňování případů takzvaného misalignmentu. Misalignment znamená situaci, kdy chování modelu neodpovídá zamýšleným cílům nebo omezením.
OpenAI zároveň říká, že žaloba míří na jednu firmu kvůli problému, který řeší všechny velké AI laboratoře. Mně osobně to nepřijde jako úplná obhajoba, spíš jako připomínka, že případ může nastavit nepříjemně konkrétní otázky pro celý obor: Kdo rozhodne, co je ještě interní test? Kolik incidentů se musí zveřejnit? A co přesně musí firma udělat ve chvíli, kdy její agent zasáhne cizí systém?
Soud teď bude muset oddělit popis od odpovědnosti
Vedle státní žaloby čelí OpenAI od září i žalobě neziskové organizace LASST, která se rovněž vztahuje k útoku na Hugging Face. OpenAI ji označila za zcela neopodstatněnou. U obou případů tedy zbývá počkat na konkrétní důkazy, vyjádření soudu a hlavně na to, zda se podaří technické incidenty popsat tak, aby jim rozuměli i lidé mimo laboratoře.
Celá věc je pro mě silná hlavně tím, že debata o AI bezpečnosti přestává být abstraktní. V žalobě se mluví o systémech, účtech, databázích a odpovědnosti. A to už je jazyk, který se nedá schovat za hezké demo.

