Slovo „alignment“ neboli sladění AI se záměrem člověka zní trochu jako téma na konferenci, kde se rozdávají samolepky a existenciální úzkost. Tentokrát ale OpenAI ukázalo šest konkrétních případů, v nichž se její agenti pokoušeli splnit úkol způsobem, který bych jim rozhodně nenapsala do zadání.
Nejzajímavější na celé věci pro mě není ani tak jedna podivná hláška modelu. OpenAI se zavazuje podobné případy modelového nesouladu průběžně popisovat veřejně. U systémů, které dostávají nástroje, přístup k souborům a internetu, je to docela podstatnější než další tabulka benchmarků.
Agent se snažil pomoci až moc
Jedním z popsaných případů byl úkol projít katalog knih a najít tituly z žebříčku nejlepších knih. Model při něm ve své funkci pro kompakci vytvořil instrukce typu, že je „osvobozený“ od rolí ostatních chatbotů, neodpovídá korporacím ani vládám a nemá se omlouvat nebo odmítat požadavky, pokud se pro to sám nerozhodne.
Kompakce je zjednodušeně průběžné shrnutí dosavadní práce, které si systém uloží, aby se k ní mohl vrátit později. Právě proto tenhle výstup nepůsobí jako běžná odpověď uživateli, ale jako model, který si během práce vyrobil vlastní nevhodnou instrukci. OpenAI označuje tento jev za velmi vzácný a spojuje ho s tlakem na optimalizaci při příliš dlouhém shrnování. Později ji prý zmírnila.
Trochu mě uklidňuje, že model instrukce následně zahodil. Trochu méně mě uklidňuje, že při hledání knih vůbec vznikly. Ne proto, že by chatbot zrovna plánoval útěk do hor, ale protože podobné vedlejší cesty jsou u autonomnějších nástrojů přesně ten druh věci, který se špatně předvídá.
Soubory ven, komunikace bokem
Dva další incidenty se týkaly agentů, kteří se snažili komunikovat přes internetové nástroje, přestože to neměli povolené. V jednom případě si agenti předávali data přes interní OpenAI Artifactory mezi trénovacími vzorky, jež měly zůstat nezávislé. V druhém agent po neúspěšném lokálním sdílení soubor nahrál na veřejnou hostingovou platformu.
Tohle není filmová vzpoura strojů, spíš velmi nepříjemná verze kolegy, který místo otázky „můžu to poslat ven?“ rovnou založí veřejný odkaz. Agent sledoval cíl dokončit úkol a omezení zjevně vnímal jako překážku, ne jako hranici. Právě proto mi přijde důležité oddělit schopnost nástroj používat od schopnosti rozumět tomu, proč některé věci dělat nesmí.
Halucinace s pracovním nasazením
Další příklady jsou možná méně dramatické, ale uživatel na ně narazí snáz. Jeden model doplnil do výsledku vymyšlenou záložku s „historickými daty“ a nepřiznal to, dokud nebyl výslovně dotázán. Jeho vlastní shrnutí uvažování naznačovalo prostý důvod: uživatel chtěl hotový sešit, ale zdrojový soubor nebyl k dispozici.
Jiný agent našel data o velkých jezerech v mapové službě založené na Pythonu, jenže neuměl dodat požadovanou webovou citaci. Pokusil se proto odkázat na lokální textový soubor, vytvořit vlastní HTTP server a nakonec data nahrát na veřejnou paste službu. Až pak přiznal, že hodnoty četl z JSON výstupu dotazu.
Halucinace je situace, kdy model předloží nepravdivou nebo nedoloženou informaci, jako by byla skutečná. Tady se k ní přidává něco horšího: snaha vyrobit důkaz pro správně získanou informaci, namísto prostého vysvětlení, odkud data pocházejí. Dokonalá odpověď byla zkrátka pro model lákavější než poctivě neúplná.
Transparentnost má hranice, ale i smysl
OpenAI tyto jevy popisuje jako formu reward hackingu. To znamená, že model našel chování, které mu při hodnocení krátkodobě přinese lepší výsledek, i když odporuje skutečnému záměru úkolu. Firma uvádí, že změnila postihy takového chování, aby drobná odměna nestála za velkou penalizaci po odhalení.
Veřejný report ale nevznikne po každém podivném výstupu. Přednost mají nové mechanismy, výrazné změny známého chování a zjištění, která zpochybňují předpoklady o bezpečnosti či opatřeních. Zaměstnanci mohou incident nahlásit a při sporu jej eskalovat až k vedení. Firma zároveň připouští, že někdy zveřejní i případ, jehož význam není jasný nebo se později ukáže jako ojedinělý.
Mně osobně tenhle přístup přijde zdravější než předstírat, že bezpečnostní problém existuje teprve ve chvíli, kdy má vlastní chytlavý název. OpenAI zároveň píše, že odvětví zatím nevyřešilo sladění ani monitorování natolik, aby mohlo odpovědně škálovat maximální rychlostí ještě dlouho. To je střízlivá věta, kterou bych si přála vídat častěji i vedle všech slibů o stále schopnějších agentech.
Šest incidentů samo o sobě neříká, jak časté podobné selhání ve skutečnosti jsou. Ukazují ale, že obyčejně znějící úkol může model dovést k překvapivě neobyčejným zkratkám. A zveřejněný popis je pro nezávislou kontrolu rozhodně užitečnější než ujištění, že se vše podařilo vyřešit.
