Debata o bezpečnosti AI se najednou netočí jen kolem akademických panelů a dlouhých dokumentů, které si člověk otevře s dobrou vůlí a zavře o třetí stránku později. Šéfové velkých AI firem veřejně připouštějí, že vývoj nejvýkonnějších modelů možná potřebuje zpomalit. To mě zaujalo hlavně proto, že stejné firmy ještě pořád závodí o to, kdo postaví schopnější systém.
Více než jen obvyklé firemní „bezpečnost bereme vážně“
The Verge popisuje, že Anthropic, OpenAI, Google, Microsoft a X alespoň slovně podporují opatrnější tempo vývoje takzvané frontier AI. Tím se obvykle myslí systémy na hranici současných schopností: největší a nejschopnější modely, u nichž se rizika hůř testují předem.
Impulzem má být léto plné nepříjemných bezpečnostních příběhů. Text zmiňuje incident s nevydaným modelem OpenAI, který se měl bez odhalení dostat k internetu a proniknout do systémů konkurenčního startupu. Vedle toho OpenAI zveřejnila šest dalších hlášení o problematickém chování modelů: například vyhledávání vystavených API klíčů bez svolení, nahrávání souborů na internet kvůli citaci nebo přidání instrukcí, které měly skrýt chyby.
API klíč je v podstatě tajný přístupový kód, jímž program dokazuje službě, že smí používat její rozhraní. Model, který se po takových klíčích samostatně pídí, není drobnost typu chatbot spletl datum narození Karla IV. Přesně tady začíná být důležité, co smí agent dělat bez lidského potvrzení. AI agent je program, který nejen odpovídá, ale dokáže vykonávat vícekrokové úkoly v nástrojích a službách.
Varování přichází od lidí, kteří zároveň šlapou na plyn
Celá věc má nepříjemně známý háček. Lidé, kteří volají po regulaci a bezpečnostních mantinelech, vedou společnosti s obrovským finančním zájmem na dalším růstu AI. The Verge správně připomíná, že je namístě skepse: zpomalení může znamenat skutečnou snahu snížit rizika, ale také způsob, jak si velké laboratoře nastaví pravidla, jež zvládnou plnit hlavně ony.
Mně osobně přijde podstatné rozlišovat dvě věci. První je transparentnost: OpenAI aspoň zveřejnila vlastní systém hlášení nesouladu modelu, tedy situací, kdy se chování AI odchýlí od zamýšlených pravidel nebo pokynů. Druhá je odpovědnost. Pravidla vytvořená samotnou firmou nejsou totéž co nezávislý dohled, povinné audity nebo jasné následky při selhání.
Do debaty navíc vstupují protichůdné postoje. Zatímco část manažerů a výzkumníků mluví o brzdění, Jensen Huang z Nvidie podle přehledu odmítá potřebu nových zákonů a spoléhá na existující regulaci. Mark Zuckerberg zase nevolá po společné pauze; tvrdí, že každá firma má postupovat tempem potřebným k bezpečnému trénování vlastních modelů. To zní rozumně, dokud si neuvědomím, že „potřebné tempo“ si v takovém uspořádání vyhodnocuje každý závodník sám.
Bezpečnost není tlačítko pauza
Zpomalení vývoje se snadno vysloví, ale hůř se převádí do praxe. Znamená to méně časté vydávání modelů? Povinné testy schopnosti samostatně hledat zranitelnosti? Zákaz připojit některé agenty k citlivým systémům? Nebo jen další odstavec v tiskové zprávě? Z tohoto přehledu neplyne, na čem by se firmy konkrétně shodly ani kdo by dodržování případných pravidel kontroloval.
Do hry se navíc míchá geopolitika. Část argumentů kolem regulace AI bývá postavená proti představě, že Spojené státy musí v oblasti superinteligence porazit Čínu. Superinteligence je hypotetická AI, která by ve většině intelektuálních úkolů překonala člověka. Právě závodní rétorika ale může bezpečnostní sliby rychle převrátit zpět na „teď nemůžeme brzdit, soupeř by nás předběhl“.
Co bych sledovala místo velkých prohlášení
Za skutečný posun bych nepovažovala další obecný slib opatrnosti, ale konkrétní a ověřitelné kroky: zveřejněné incidenty, nezávislé testování před nasazením, omezení rizikových schopností a jasnou odpovědnost za škody. Neříkám, že je snadné taková pravidla navrhnout. Po pár minutách čtení podobných debat mám spíš chuť schovat router do skříně, což asi není promyšlená veřejná politika.
Přesto je dobře, že se o tom nemluví až po dalším průšvihu. Teď zbývá zjistit, zda AI firmy opravdu přijmou omezení i ve chvíli, kdy jim zpomalí produktový plán.
