V debatách o AI bezpečnosti se často střídají velká slova, neurčité hrozby a obrázky robotů s červenýma očima. Tohle je nepříjemně jiné: lidé přímo z Anthropic veřejně říkají, že se bojí systémů, které jejich vlastní obor staví.
Nejde o varování zvenčí
Jacob Coxon, výzkumník, který v Anthropic trénoval AI systémy a dříve působil také v OpenAI, oznámil odchod z firmy. Důvodem má být podle jeho vyjádření příliš volný přístup k bezpečnosti. Anthropic i OpenAI podle něj míří k „sebezdokonalující superinteligenci“ a dělají to v závodě, v němž se hraje o lidské životy.
Podstatné je, že Coxon nemluví jen o tom, že by model mohl napsat závadný e-mail nebo si vymyslet zdroj v seminárce. Má na mysli velmi pokročilou AI, která by uměla sama zlepšovat své schopnosti. Této představě se říká rekurzivní sebezdokonalování: systém vytvoří lepší verzi sebe sama, ta další ještě lepší verzi a tempo zlepšování se může utrhnout lidské kontrole.
Takový scénář dnes není hotová technologie. Z textu ale plyne, že firmy k němu aktivně směřují a současně už velkou část současného AI kódu pomáhá psát AI. To samo o sobě ještě nedokazuje, že se rozjíždí nekonečná smyčka superinteligence; ukazuje to ale, proč téma nezní úplně jako zápletka, kterou jsem před spaním raději neotevírala.
Více než jedna šance z deseti
Evan Hubinger, který vede jeden z týmů bezpečnosti AI v Anthropic, na Coxonovo vyjádření přímo reagoval. Souhlasil s tím, že AI by teoreticky mohla zabít všechny lidi, a svůj osobní odhad pravděpodobnosti pro příštích deset let stanovil nad 10 procent.
Je fér držet dvě myšlenky najednou. Zaprvé: nejde o naměřenou předpověď ani o vědecký konsenzus, ale o osobní úsudek jednoho odborníka. Zadruhé: člověk ve vedení bezpečnostního týmu firmy, která vyvíjí špičkové modely, tím říká něco opravdu závažného. I desetiprocentní šance je u katastrofy tohoto rozsahu číslo, které se nedá odbýt mávnutím ruky.
Mně osobně přijde zvláštní, že se podobné výroky snadno zařadí do škatulky „AI doom“. To zní skoro jako internetový žánr. Jenže tady nejde o anonymní účet, který si k ranní kávě počítá konec civilizace v tabulce. Jde o lidi, kteří pracovali na trénování a zabezpečování těchto systémů.
Nejhorší věta není ani těch deset procent
Ještě víc mě zarazila Hubingerova další věta: Anthropic zatím nemá plán, který by zajistil, že vyspělá AI zůstane bezpečná a bude jednat v souladu s lidskými hodnotami. A není ani zřejmé, že k takovému plánu firma směřuje.
Slovo alignment, česky zhruba sladění, znamená snahu zajistit, aby systém sledoval lidské cíle a nevykládal si je nebezpečně po svém. Zní to banálně, dokud si nezkusíte dát chatbotu úkol s pěti podmínkami a on elegantně vynechá tu šestou. U mnohem schopnějšího systému by ovšem nešlo jen o otravnou chybu v odpovědi.
Coxon popisuje prostředí, v němž společnosti pokračují hlavně proto, že nechtějí prohrát závod o nejschopnější model. Anthropic přitom vznikl po odchodech lidí z OpenAI, kteří už tehdy řešili bezpečnostní obavy. Celá situace tak působí trochu jako bezpečnostní tým na lodi, který přes palubu volá, že mapa končí, zatímco motory běží naplno.
Co z toho zatím neplyne
Z jedné rezignace a jednoho odhadu nelze vyvodit, že konec lidstva je za dveřmi nebo že Anthropic provozuje nekontrolovatelný systém. V podkladu také nejsou konkrétní technické detaily, co přesně se uvnitř firmy děje, jaké pojistky selhávají nebo jak by vypadal věrohodný plán nápravy.
Plyne z toho ale něco dost konkrétního: část lidí, kteří jsou AI bezpečnosti profesně nejblíž, nevěří, že mají problém pod kontrolou. A pokud současně firmy závodí ve vývoji stále schopnějších modelů, neměla by se bezpečnost řešit až jako příloha k produktovému launchi.
Nečekám, že mi tento článek vyřeší alignment ani že po něm laboratoře vypnou servery. Přála bych si ale, aby podobně otevřená varování nezapadla jen proto, že jsou nepříjemná a špatně se z nich dělá optimistický slide pro investory.
