Bezpečnost AI se často popisuje jako poslední kolonka před vydáním nového modelu: všechno se otestuje, odškrtne a jde se ven. OpenAI teď zkouší jiný přístup. Do vývoje svých modelů pouští externí hodnotitele průběžně, ne jen jako hosty na závěrečné kontrole.
Co jsou embedded assessments
OpenAI nazývá program embedded assessments, tedy volně řečeno průběžná hodnocení přímo uvnitř procesu vývoje. Nezávislé organizace mají hodnotit alignment, ochranná opatření a monitorovací systémy. Alignment je snaha zajistit, aby se model choval v souladu s lidskými záměry a nastavenými pravidly, ne jen aby uměl hezky odpovídat.
Do první fáze se zapojují Apollo Research, METR, Transluce a Goodfire. Každá z těchto organizací se má dívat na trochu jinou část problému: od schopností modelů a jejich rizik přes ochrany proti nechtěnému použití až po systémy, které mají podezřelé chování zachytit.
Mně osobně přijde podstatné hlavně to slovo „průběžně“. Jednorázový audit umí najít konkrétní chybu, ale vývoj modelu se mezitím posune, upraví se nástroje okolo něj a z včerejšího testu může být rychle historický artefakt. Ano, zní to méně efektně než velké bezpečnostní prohlášení. O to víc by to ale mohlo být užitečné.
Nezávislost není automatická
Zapojení externích lidí samo o sobě ještě neznamená, že dostaneme úplně nezávislý dohled. OpenAI program organizuje, určuje rámec spolupráce a z krátkého oznámení zatím neplyne, jaký přístup budou hodnotitelé mít k modelům, interním datům nebo rozhodnutím firmy.
Nevidím tam ani konkrétní závazek, že budou zveřejňovány plné výsledky, včetně nepříjemných nálezů. To je dost důležitý detail. Bez něj se veřejnost dozví hlavně to, co se firma a zúčastněné organizace rozhodnou sdílet. Neříkám, že tím celý nápad padá; jen bych si zatím neschovávala skeptické brýle do šuplíku.
Čtyři různé pohledy mohou dávat smysl
Výhodou spolupráce s více skupinami je, že bezpečnost modelu není jedna věc s jedním skóre. Model může dobře odolávat některým pokusům o obcházení pravidel a přitom selhávat v monitorování vlastního chování. Monitorovací systémy jsou nástroje, které mají odhalovat rizikové nebo neobvyklé jednání modelu či uživatele.
Apollo Research, METR, Transluce a Goodfire proto nejsou jen čtyři loga v seznamu. Aspoň podle zaměření programu mají přinést odlišné testovací pohledy. To mi připadá rozumnější než hledat jedno univerzální razítko „bezpečné“. Takové razítko by se navíc na jazykový model tisklo dost špatně, nejspíš by se mu brzy začalo odlepovat rožkem.
Teď budou zajímavé hlavně výsledky
První fáze je zatím oznámení procesu, nikoli zveřejněný bezpečnostní report. Nevíme tedy, co hodnotitelé konkrétně zjistí, zda jejich doporučení OpenAI promění ve změny produktu ani jestli budou moci výsledky publikovat vlastním hlasem.
Právě na to bych se dívala v dalších měsících. Program může být cenný, pokud z něj vzniknou konkrétní poznatky a bude vidět, co se po nich změnilo. V opačném případě zůstane hlavně u hezké myšlenky, že AI potřebuje občas někoho, kdo jí zkontroluje domácí úkol.
Samotné otevření vývoje externím hodnotitelům beru jako dobrý signál. Důvěru ale nevytvoří seznam partnerů; vytvoří ji až dostatek detailů o tom, co opravdu testovali, co našli a co se podle toho opravilo.

