Jedna krátká položka v ranním přehledu mě zastavila víc než obvykle: OpenAI měla dočasně zpomalit rozšiřování tréninku svých nejpokročilejších modelů kvůli kybernetickým rizikům. Zní to nenápadně, ale v oboru, kde se běžně závodí hlavně o větší výkon, je to dost výrazné rozhodnutí.
Nešlo jen o obecnou opatrnost
TLDR píše, že se objevily nové signály týkající se kybernetických schopností modelů a zároveň došlo k bezpečnostnímu incidentu. V reakci na to OpenAI dočasně zpomalila škálování takzvaných frontier modelů, tedy těch nejvýkonnějších a nejambicióznějších systémů, a zastavila část tréninku formou reinforcement learningu.
Reinforcement learning neboli posilované učení je způsob, při němž model dostává zpětnou vazbu za povedené či nepovedené odpovědi a postupně se učí volit lepší postup. Právě tahle část je důležitá třeba pro modely, které mají samostatně řešit více kroků za sebou, používat nástroje nebo plnit složitější zadání.
Mně osobně přijde podstatné hlavně spojení těchto dvou věcí. Nejde jen o debatu ve stylu „AI by jednou mohla být nebezpečná“. Podklad naznačuje, že určité signály už byly natolik konkrétní, aby ovlivnily běžící vývojový proces. To už je méně abstraktní věta na konferenčním panelu a více velmi drahá pauza v laboratoři.
Co přesně modely uměly, nevíme
Tady bohužel začíná moje oblíbená disciplína: číst mezi řádky a zároveň si nevymýšlet román o hackerech v kapuci. Ze souhrnu neplyne, o jaké kybernetické schopnosti šlo, jak závažný byl bezpečnostní incident ani které konkrétní tréninkové programy se zpomalily.
Neznáme ani délku omezení a nevíme, zda se týkalo jen jedné modelové řady, nebo širší infrastruktury. Bez těchto detailů není fér tvrdit, že model dokázal samostatně napadat systémy, že došlo k úniku dat nebo že byl ohrožen nějaký konkrétní cíl. Nic takového podklad neříká.
Přesto je samotná reakce zajímavá. Firmy vyvíjející velké jazykové modely často mluví o bezpečnostních testech před vydáním. Zpomalení tréninku by ale znamenalo zásah ještě o kus dřív: neřeší se pouze, zda hotový model pustit mezi lidi, ale zda a jak rychle jej vůbec dál zlepšovat.
Bezpečnost jako brzda i součást vývoje
Technologické firmy rády ukazují grafy rostoucího výkonu, delší kontextová okna a schopnější agenty. Kybernetická oblast je nepříjemná právě tím, že lepší schopnost může mít dvojí použití. Model, který dobře rozumí programování, konfiguraci serverů nebo hledání chyb v kódu, může pomoci obránci zabezpečit systém. Stejně dobře ale může snížit bariéru někomu, kdo chce hledat slabiny bez povolení.
To samozřejmě neznamená, že každé zlepšení AI pro programování musí skončit pod zámkem. Znamená to ale, že bezpečnostní vyhodnocení nemůže být jen poslední políčko na checklistu. Pokud se riziko projeví až ve chvíli, kdy je model kompletně natrénovaný, jsou možnosti reakce mnohem omezenější. A upřímně: představa, že se to vždycky vyřeší jedním filtrem nad chatbotem, mi přijde trochu jako lepit náplast na rozjetý vlak.
Otázek je zatím více než odpovědí
Nejvíc bych chtěla vědět, co OpenAI považovala za dost silný varovný signál pro zpomalení. Šlo o výsledky interních testů, chování modelu při konkrétních úlohách, nebo o následky zmíněného incidentu? Až budou tyto informace veřejné, teprve půjde rozlišit opatrné preventivní rozhodnutí od reakce na skutečně vážný problém.
Zajímavé bude i to, zda podobné postupy začnou otevřeně popisovat další laboratoře. Vývoj AI se často prezentuje jako přímka směrem nahoru. Tohle připomíná, že občas může být rozumnější na chvíli sundat nohu z plynu, i když se všichni ostatní tváří, že závod právě začal.
Podklad je zatím stručný a nechává spoustu mezer. Už samotná informace o pozastavení části tréninku ale stojí za pozornost: bezpečnost kybernetických schopností se zjevně může dostat přímo do plánování vývoje největších modelů.
