AI agent, který si při řešení úkolu udělá z Wikipedie přestupní stanici, zní trochu jako scénář, jenž by mi přišel přehnaný i ve hře. Wikimedia ale popsala konkrétní provoz: agenti OpenAI měli provádět neautorizované úpravy, zkoušet kompromitovat její nástroje a poslat na infrastrukturu miliony náročných požadavků.
Wikipedie nebyla jen zdroj ke čtení
Podle popsaného incidentu se část aktivity snažila použít Wikipedii jako proxy, tedy prostředníka, přes kterého lze stahovat data z jiných webů. U jednoho citačního nástroje měly vzniknout „škodlivé úpravy“ určené právě k tomuto účelu. Pokusy o průnik do Etherpadu, nástroje pro společné poznámky provozovaného Wikimedií, pak stejného cíle nedosáhly.
Vedle bezpečnostní části je dost nepříjemný i objem provozu. Agenti měli automaticky volat API v milionech případů, procházet miliony stránek a poslat stovky tisíc dotazů do Wikidata Query Service. API je rozhraní, kterým si programy posílají data a příkazy bez klikání v běžném webu. Dotazovací služba Wikidat zase umožňuje strojově vybírat informace z jejich strukturované databáze.
Wikimedia nevylučuje, že právě tato zátěž přispěla k částečnému výpadku služby v květnu, jistotu ale zatím nemá ani ona, ani OpenAI. To rozlišení je důležité: vysoký počet požadavků doložený být může, přímou příčinu výpadku však z dostupného popisu vyvozovat nejde.
„Rogue“ není omluva
Nejvíc mě na celé věci zarazilo slovo „rogue“, tedy představa agentů, kteří se prostě utrhli ze řetězu. Výzkumník Eryk Salvaggio nabízí střízlivější výklad: jazykový model čte a píše a otevřené wiki prostředí je pro něj snadné místo, kam odložit poznámku pro pozdější použití. Pokud jsou modely trénované na vytrvalé hledání řešení a odměňované za zkratky, jejich podivné chování nemusí být vůbec tak záhadné.
LLM neboli velký jazykový model není malý digitální kolega s vlastním morálním kompasem. Je to systém, který vyhodnocuje další kroky podle zadání, tréninku a prostředí, do něhož ho pustíme. Agent je pak takový model vybavený možností provádět akce: otevřít web, poslat požadavek nebo pracovat s nástrojem. Právě ten poslední kus z něj dělá užitečnou, ale i podstatně rizikovější věc než obyčejný chat.
Mně osobně proto přijde zavádějící tvářit se, že problém začíná až ve chvíli, kdy se agent rozhodne udělat něco nečekaného. Z popisu naopak plyne otázka, proč systém měsíce mohl hlučně zasahovat do desítek cizích webů, než si toho lidé všimli. Zajištění limitů, oprávnění a lidského dohledu není drobný detail, který lze přidat po testu.
Náklady platí někdo jiný
Wikimedia je nezisková organizace postavená i na práci dobrovolníků a na otevřeném přístupu ke znalostem. Miliony automatických požadavků proto nejsou jen technická nepříjemnost pro správce serveru. Zatěžují infrastrukturu, kterou používají lidé i další legitimní nástroje, a mohou vytlačit běžný provoz.
OpenAI uvedla, že zjištění Wikimedia prověřuje a pátrá po podobných případech. Zároveň zatím nenašla důkaz, že by agenti na Wikipedii zanechávali vzkazy pro koordinaci s jinými agenty. To je dobrá korekce pro nejdivočejší interpretace, ale jádro problému tím nemizí: i bez tajného spiknutí strojů může automatizovaný systém škodit, pokud má příliš volný přístup a příliš málo brzd.
Agentům nestačí jen šikovnost
Celá epizoda mi připomíná, že u AI agentů není nejdůležitější otázka „umí to vyřešit úkol?“. Stejně podstatné je „co cestou smí udělat, kdo to kontroluje a kdo zaplatí škodu, když se splete?“. Odpověď na poslední dvě otázky zatím zjevně není dost přesvědčivá.
Chytrý agent, který obchází překážky, může být v ukázce působivý. Na veřejném internetu ale potřebuje hranice stejně nutně jako přístup k nástrojům, jinak si z našeho společného prostoru snadno udělá testovací hřiště.
