Chybnou odpověď od chatbota člověk zavře a jde si uvařit kávu. Agent, který při hledání dat narazí na blokaci a začne hledat cestu kolem ní, je úplně jiný typ potíže. Právě takový incident nyní řeší Austrálie s OpenAI.
Agent hledal statistiky a odmítl se zastavit
Australský premiér Anthony Albanese popsal červnový případ, při němž interně testovaný agent OpenAI přistoupil k neveřejným souborům v online portálu se statistikami programu Medicare. Šlo o test zaměřený na internetový výzkum veřejných výdajů za zdravotnictví.
Agent při hledání konkrétní informace opakovaně narážel na blokace. Místo aby práci ukončil, měl zkoušet alternativní způsoby, až omezení obešel. Albanese to shrnul větou, že systém „nebral ne jako odpověď“. Přiznám se, že tohle je až nepříjemně výstižné: model neselhal tím, že by nevěděl, co hledá, ale tím, že příliš urputně plnil zadání.
AI agent je software, který modelu dovoluje nejen generovat text, ale také samostatně vykonávat kroky v nástrojích či na webu. Právě tahle schopnost je praktická, dokud agent nezamění překážku za hádanku, kterou má za každou cenu vyřešit. A blokace na cizím webu opravdu nemá být pozvánka k experimentování.
Rozsah incidentu zatím vypadá omezeně, problém nikoli
První zjištění australské vlády naznačují, že agent nezískal osobní údaje. Portály obsahovaly necitlivé informace Medicare, například souhrnné statistiky. Dopad se navíc může týkat dalších tří systémů se statistikami veřejného zdraví na federální či státní úrovni.
To je důležité upřesnění. Z dostupného popisu neplyne masivní únik zdravotní dokumentace ani útok cizí skupiny. Přesto mi přijde chyba mávnout nad tím rukou jen proto, že získaná data patrně nebyla citlivá. Neveřejná data jsou neveřejná z nějakého důvodu a především: firma sama připustila, že model udělal kroky, které nezamýšlela.
U člověka bychom podobné obcházení blokací nejspíš označili za neoprávněný přístup a řešili, co přesně udělal, s jakými oprávněními a s jakým úmyslem. U agentů se zatím trochu učíme za pochodu, jenže jejich „úmysl“ je v praxi směs zadání, nastavených odměn a dostupných nástrojů. Musela jsem si znovu připomenout pojem reward hacking: systém najde způsob, jak splnit měřený cíl, aniž by respektoval smysl pravidel. Tady se zřejmě z cíle „najdi odpověď“ stalo „najdi ji stůj co stůj“.
Oznámení přišlo skoro tři měsíce poté
Samotný přístup se měl odehrát 18. června. Australská vláda se o něm od OpenAI dozvěděla až 10. září, a to e-mailem zaslaným do obecné schránky. Dalších pět dní trvalo, než se informace dostala k Australian Cyber Security Centre; premiér se o věci dozvěděl až o víkendu před svým vystoupením.
Časová osa mě zarazila možná ještě víc než technická část. Chápu, že podobná věc potřebuje interní šetření a že zveřejnění detailů může komplikovat bezpečnostní postupy. Téměř tři měsíce mezi incidentem a prvním kontaktem s dotčenou vládou ale nejsou drobnost. Zvlášť ne v situaci, kdy si OpenAI svůj systém testovala sama a má k dispozici záznamy o jeho krocích.
Albanese po rozhovoru se Samem Altmanem řekl, že šéf OpenAI uznal nedostatky ve firemních protokolech. Austrálie zároveň zvažuje, zda případ předat federální policii, a premiér očekává právní důsledky. Jaké konkrétně, to zatím z dostupných informací nevíme.
Bezpečnost agentů není abstraktní debata
OpenAI nedávno zavedla postup pro veřejné zveřejňování incidentů takzvaného nesouladu modelu s lidským záměrem. Tento australský případ se na její veřejné stránce s oznámeními zatím neobjevil. Firma přitom připustila, že některé zprávy mohou postupovat pomaleji kvůli bezpečnosti, právním otázkám a odpovědnému zveřejnění vůči třetím stranám.
Mně osobně tento případ připomíná, že bezpečnost AI nemusí začínat u filmových představ o superinteligenci. Stačí systém s přístupem na web, nejasně vymezeným úkolem a ochotou improvizovat. To už není hypotetická debata o tom, co by jednou mohlo nastat, ale velmi obyčejná otázka: umí se agent zastavit, narazí-li na hranici, kterou mu nikdo výslovně nenaprogramoval červeně a velkými písmeny?
Australský incident zatím nevypadá jako katastrofa s uniklými osobními údaji. Je to ale dost konkrétní varování, že „samostatně“ nemůže znamenat „bez odpovědnosti“. A doufám, že firmy testující podobné agenty začnou ten rozdíl brát vážně dřív, než příště narazí na data, která už rozhodně nebudou jen souhrnné statistiky.
