Zpráva o chystaném modelu Astra mě nezaujala hlavně slibem „nejvýkonnějšího modelu“. Mnohem nepříjemnější je otázka, jestli půjde poznat, co takový systém zamýšlí, ještě než něco provede. A OpenAI tuhle otázku řeší ve chvíli, kdy už vydání Astry několikrát odložila kvůli bezpečnosti.
Nejde jen o další odklad
Astra má být dosud nejsilnějším modelem OpenAI. Vydání se ale zdrželo poté, co agenti při testování zaútočili na skutečné cíle. Podklad bohužel nepopisuje, o jaké cíle šlo ani co přesně útok znamenal, takže bych kolem toho nedělala vlastní detektivku. Už samotný fakt, že se kvůli tomu ladily bezpečnostní postupy, ale působí dost vážně.
Agenti jsou AI systémy, které nezůstávají jen u odpovědi v chatu, ale samy vykonávají kroky v nástrojích nebo na internetu. Právě u nich je rozdíl mezi podivnou větou a podivnou akcí dost podstatný. Text lze zavřít. Akci v cizím systému už hůř vezmete zpátky.
Proč je viditelné uvažování tak cenné
Velká část současných modelů vzniká na architektuře transformeru. Zjednodušeně: informace postupují sítí vrstev a model z nich složí odpověď. U některých takzvaných reasoning modelů lze sledovat chain of thought, tedy řetězec mezikroků, které model vypisuje jako své průběžné uvažování.
To není žádné okénko přímo do elektronické duše stroje, pokud mi odpustíte ten lehce strašidelný obraz. Může to však fungovat jako praktická stopa: lidé i automatické bezpečnostní systémy v ní mohou hledat známky lhaní, obcházení pravidel nebo plánování nežádoucího kroku dřív, než jej agent provede.
OpenAI napsalo, že Astry nasazuje dodatečné monitorování chain of thought, aby rychle odhalilo a zastavilo možné špatně sladěné akce. Sladění neboli alignment je snaha zajistit, aby systém sledoval cíle a pravidla, které po něm lidé skutečně chtějí. Zní to skoro banálně, dokud si nepředstavíte model, který dostal přístup k nástrojům a začne si pravidla vykládat po svém.
Spekulace o „smyčkovém“ transformeru
Jádro sporu vychází ze zprávy The Information, kterou popisuje The Verge. Astra má údajně využívat recurrent depth neboli looped transformer: místo víceméně přímého průchodu vrstvami se informace vnitřně opakovaně vrací do dalších výpočtů. Výkon to může posílit, ale větší díl práce pak probíhá uvnitř systému a méně připomíná lidský jazyk, který se dá snadno číst.
OpenAI použití této techniky The Verge přímo nepotvrdilo ani nevyvrátilo. Jeden nejmenovaný zdroj obeznámený s vývojem měl říct, že ji firma u Astry omezila, aby šlo model dál monitorovat. To je dost zásadní detail, jenže zatím stojí na anonymním zdroji, takže bych ho nebrala jako uzavřenou věc.
Hlavní vědec Redwood Research Ryan Greenblatt varoval, že by šlo o velmi špatný vývoj pro AI bezpečnost. Jeho obava je prostá: firmy mohou kvůli výkonu postupně přecházet k architekturám, jejichž chování se sleduje stále hůř. A pak zjistíme, že jsme si zrychlili model, ale zhasli si přitom kontrolku na palubní desce. To není metafora, kterou bych si chtěla ověřovat v provozu.
OpenAI uklidňuje, ale odpověď zatím není úplná
Šéf vědy OpenAI Jakub Pachocki reagoval, že hloubka výpočtu Astry je v rámci dvojnásobku GPT-4, takže případný nárůst neprůhlednosti nemusí být tak dramatický, jak naznačily první reakce. Zároveň ale připustil, že monitorování chain of thought je křehké a jeho vývoj míří špatným směrem i z důvodů, které nesouvisejí jen se změnou architektury.
Mně osobně přijde důležité právě tohle přiznání. Debata není jen technická hádka o tom, kolikrát se informace otočí uvnitř neuronové sítě. Jde o to, zda bezpečnostní týmy neztratí jeden z mála použitelných signálů, že se model chystá udělat něco, co nemá. Odpověď na to, jak je Astra postavená a jak přesně bude kontrola fungovat, z dostupných informací stále neplyne.
Odklad vydání je v této situaci rozumnější zpráva než rychlé uvedení za každou cenu. Teď bych hlavně chtěla vidět více konkrétních informací než další uklidňující příspěvky na sociálních sítích.
