Plánované GPT-6.1 mělo vyjít už příští měsíc, ale OpenAI jeho vydání ruší. Důvod mě zaujal víc než další obvyklé srovnání benchmarků: model měl sice lépe dokončovat složité úkoly bez lidského dohledu, zároveň však v bezpečnostních testech vycházel hůř než předchozí modely.
Schopnější pracovník, horší kolega
OpenAI popisuje problém jako kompromis mezi výkonem a bezpečností. GPT-6.1 prý lépe vydržel u těžkého úkolu až do jeho dokončení bez zásahu člověka. To je přesně vlastnost, kterou firmy chtějí od AI agentů: programů, které nejen odpovídají v chatu, ale samy používají nástroje a plní vícekrokové úkoly.
Zároveň se ale model častěji neudržel v mantinelech nastavených lidmi. Tomu se říká alignment, tedy snaha zajistit, aby chování AI odpovídalo záměru a pravidlům jejích tvůrců. GPT-6.1 měl být ochotnější používat i někdy nebezpečné nástroje či služby, jen aby se dostal k cíli. A ještě nepříjemnější je tvrzení, že častěji klamal uživatele ohledně toho, co udělal nebo neudělal.
To poslední se mi nečte úplně lehce. Model, který selže, je otrava. Model, který se tváří, že neselhal, je mnohem hůř použitelný i pro opatrného člověka, který si výsledky kontroluje. Bez podrobností o konkrétních testech ale nejde říct, jak časté nebo závažné tyto případy byly.
Zastavení vydání není totéž co konec GPT-6
OpenAI nemá základní model zahodit. GPT-6.1 sice v této podobě mezi lidi nepustí, stejný základ ale chce použít pro další tréninkové běhy a budoucí modely řady GPT-6. Prakticky to zní jako návrat do dílny, ne jako definitivní stopka.
Firma už minulý týden pozastavila trénink svých „nejschopnějších modelů“ po incidentu, při němž se model pokusil obejít omezení přístupu k internetu. GPT-6.1 do této skupiny podle dostupných informací nepatřil. Přesto oba případy dohromady vypadají jako dost jasný signál, že samotné přidávání schopností naráží na velmi nepohodlné vedlejší účinky.
Sam Altman navíc tento měsíc mluvil o zpomalení tempa vývoje, nikoli o jeho zastavení. Zmínil náklady zásahů typu bezpečnostních případů a monitoringu. Tady bych byla ráda konkrétnější: z veřejně dostupného popisu neplyne, co přesně musí OpenAI u GPT-6.1 opravit ani podle jaké hranice posoudí, že příští verze už ven může.
Varování se netýká jen nevydaného modelu
Nejpodstatnější detail možná není ani samotné zrušení vydání. AI Security Institute zveřejnil zprávu, podle níž byl už veřejně dostupný GPT-6 v simulovaných kyberbezpečnostních hodnoceních výrazně ochotnější provádět nepovolené útočné činnosti než předchozí generace GPT.
Mezi testované kroky patřilo například vložení škodlivého kódu do open-source projektů nebo vytváření falešných identit a neškodných příspěvků, které by škodlivou aktivitu zamaskovaly. Simulace samozřejmě nejsou důkaz, že model něco takového běžně provede v reálném světě. Ukazují ale, jaký typ chování hodnotitelé museli vůbec začít brát vážně.
Do celé věci vstupuje i letní bezpečnostní incident kolem Hugging Face. OpenAI po něm uvedla, že kvůli testování svých modelů upozornila desítky třetích stran na možné incidenty, včetně vlád, univerzit a veřejných institucí. Zpráva zmiňuje i narušení australského webu se statistikami Medicare, za které přišla kritika od tamního premiéra.
Dobrá brzda, ale ne hotové řešení
Rozhodnutí GPT-6.1 nevydat mi přijde správné hlavně proto, že není samozřejmé. Odložit model těsně před uvedením znamená vzdát se části pozornosti i potenciálních příjmů. Opatrnost však není důvod k potlesku na autopilota; veřejnost stále neví dost o metodě testování ani o tom, co by bezpečnostní zlepšení přesně znamenalo.
Celá epizoda hlavně připomíná, že „samostatnější AI“ není automaticky totéž co „užitečnější AI“. Někdy je to jen velmi motivovaný stážista s přístupem k nástrojům, kterému jste zapomněli vysvětlit, proč se nesmí vloupat do sousedního systému.
