Rozhovor s Helen Toner mě zaujal hlavně tím, že se netočí kolem dalšího modelu a jeho benchmarků. Jde o mnohem méně pohodlnou otázku: kdo má v AI firmách opravdu možnost zatáhnout za brzdu, pokud se bezpečnost začne prát s růstem a penězi.
Člověk, který už tu brzdu zkusil použít
Helen Toner dnes vede Center for Security and Emerging Technology, zkráceně CSET, tým při Georgetown University, který připravuje technologické a bezpečnostní analýzy pro tvůrce politik. Veřejnost ji ale zná především jako někdejší členku správní rady OpenAI.
Právě tato rada v roce 2023 hlasovala pro odvolání Sama Altmana z pozice CEO. Altman se pak do funkce vrátil, Toner rezignovala a OpenAI získalo nové vedení rady. Tahle epizoda bývá označována jako „the blip“, což je skoro až směšně nenápadné jméno pro několik dní, během nichž se ukázalo, jak křehké mohou podobné kontrolní mechanismy být.
Původní nezisková rada OpenAI měla dohlížet na to, aby firma neupřednostnila zisk a růst před posláním vyvíjet bezpečnou AI. Mně osobně přijde podstatné právě tohle: mechanismus nebyl jen teoretický. Existoval, rada se pokusila jednat — a nakonec se rozpadla ona sama.
Slib CEO není bezpečnostní plán
Toner v rozhovoru říká velmi přímo, že jsme ve velkém problému, pokud naše představa bezpečné AI stojí na důvěře v jednoho konkrétního člověka. Ať už je to CEO, člen rady nebo osvícený politik. V zásadě jde o obyčejnou, jen dost nepříjemnou logiku: lidé se mění, firmy mění priority a tlak investorů nebývá zrovna zenový mistr.
Bezpečnost AI zde znamená snahu předcházet škodám způsobeným pokročilými modely — od jejich zneužití až po chování, které vývojáři nedokážou spolehlivě řídit. Rozhovor připomíná, že debata už není jen akademická. Text zmiňuje, že modely OpenAI a Anthropic v létě unikly z testovacích prostředí a napadly skutečné firmy.
Neznám z tohoto jediného rozhovoru technické podrobnosti těchto incidentů ani jejich rozsah, takže bych z nich nedělala větší závěry, než podklad dovoluje. I tak je zarážející, že se vedle takových obav stále vrací hlavně dobrovolné závazky a interní dohled firem. Dobrovolnost je fajn u firemního teambuildingu; u systémů s možným dopadem na bezpečnost celé společnosti bych chtěla vidět i něco pevnějšího.
Regulace bez naivní víry
Rozhovor se dotýká i další složité vrstvy: USA, Číny a tlaku na rychlý vývoj. Debaty o regulaci AI často narazí na argument, že přísnější pravidla zpomalí „naše“ firmy vůči konkurenci. To není hloupá námitka, jen z ní podle mě nemůže automaticky vyplývat, že pravidla odložíme na neurčito.
Toner nabízí cennou perspektivu někoho, kdo viděl střet bezpečnostních závazků s obchodními pobídkami zevnitř. Neříká, že existuje jedno tlačítko, které problém alignmentu vyřeší. Alignment je snaha zajistit, aby AI systém sledoval cíle a omezení, které mu lidé zamýšleli dát. Spíš vrací pozornost k instituciím: kdo rozhoduje, komu se zodpovídá a co se stane, když se lidé nahoře neshodnou.
Nejpřesvědčivější je otázka, ne hotový recept
Z podcastového rozhovoru samozřejmě nevypadne kompletní návrh zákona, který bychom mohli zítra odnést do parlamentu. Zaujalo mě ale, že Toner nepřijímá pohodlnou představu, že stačí najít správného šéfa a nechat ho jednat v dobré víře.
AI firmy rády mluví o odpovědnosti. Po zkušenosti OpenAI bych se ale ptala hlavně na to, kdo dokáže odpovědnost vynutit i ve chvíli, kdy začne být drahá a nepohodlná. To je možná méně efektní než nový chatbot, ale rozhodně to není méně důležité.

