Tenhle spor mezi Anthropic a americkou vládou mě zaujal víc než obvyklá přestřelka kolem parametrů nového modelu. Odvolací soud ve Washingtonu připustil, že vláda může Anthropic za omezení funkcí Claude zařadit na blacklist, tedy fakticky odstřihnout od federálního byznysu a dodavatelských vztahů v obraně.
Nejde přitom o obvinění, že by Anthropic systém sabotoval nebo do něj schválně vložil škodlivý kód. Právě to z celé věci dělá dost nepříjemný precedens: firma může narazit i tehdy, když dopředu a otevřeně trvá na bezpečnostních limitech svého produktu.
Dva děsivé scénáře, mezi nimiž nikdo nechce vybírat
Většina soudního senátu popsala střet skoro až brutálně přímo. Příliš omezený model může podle ní při vojenské operaci nečekaně odmítnout úkol a operaci tím ohrozit. Na druhé straně stojí možnost, že málo omezený model „halucinuje“ nevhodný cíl pro smrtící sílu. Halucinace zde znamená, že AI přesvědčivě vytvoří chybnou informaci, aniž by věděla, že je chybná.
Oba strachy dávají smysl a zrovna proto mi nestačí odpověď typu „ať si armáda prostě vezme jiný model“. Claude se ve vládních systémech očividně používal nebo se s jeho použitím počítalo natolik, že spor řešil soud. Soudci ale nakonec řekli, že balanc těchto rizik přísluší prezidentovi a ministru obrany, ne jim.
Anthropic podle popisu sporu zakódoval do Claude omezení pro činnosti, které nechce podporovat. Model už nejméně v některých případech nesplnil požadavky vládních uživatelů. V jednom nedávném sporu se řešilo, zda smluvní zákazy brání použití Claude při probíhající zahraniční vojenské operaci. Ministerstvo obrany si pak nebylo jisté, zda model udělá, co od něj potřebuje.
Slovo „riziko“ se najednou natáhlo hodně daleko
Právní uzel vede přes pojem supply chain risk, tedy riziko v dodavatelském řetězci technologií. Kalifornský federální soud minulý měsíc označil postup vlády za nezákonný. V tamním zákoně je riziko navázané na nepřátelského aktéra a činnosti jako sabotáž, škodlivé vložení funkce nebo narušení systému. Soud uznal, že Anthropic neměl špatný úmysl.
Odvolací soud pro District of Columbia ale řešil tutéž vládní akci podle jiného ustanovení, které má širší formulaci a pro tento typ rozhodnutí mu dává výhradní pravomoc. Podstatné pro většinu bylo, že zákon mluví o riziku od „jakékoli osoby“ a také o odepření funkce. Omezení Claude tedy vyložila jako možné odepření schopnosti, kterou ministerstvo obrany pokládá za smluvně povolenou a potřebnou.
Trochu mě zarazilo, jak snadno se z ochranné pojistky může v takovém čtení stát dodavatelské riziko. Ne proto, že bych chtěla, aby vojenské systémy náhodně přestávaly fungovat; to zní jako velmi špatný den v kanceláři i mimo ni. Jenže firma, která předem vymezí, co její nástroj neumí nebo nemá dělat, tím podle této logiky může vytvořit důvod k vyloučení.
Disent připomíná, proč na tom záleží i mimo Anthropic
Soudkyně Karen Henderson nesouhlasila. Podle ní je třeba sporná slovesa číst v kontextu zákona, který vznikl jako reakce na hrozbu infiltrace vládních technologií nepřátelskými státy a dalšími škodlivými aktéry. Otevřené a poctivé vymáhání omezení produktu, které se vládě nelíbí, do této kategorie podle ní nepatří.
Tohle je mně osobně nejpřesvědčivější část celé kauzy. AI firmy samozřejmě nemají být samy sobě zákonem a veřejná moc nemůže plánovat kritické použití nástroje, který se chová nepředvídatelně. Zároveň se tím otevírá otázka, zda smí dodavatel vůbec říct „toto pro vás neudělám“, aniž by riskoval vyřazení z trhu. U modelů nasazovaných v bezpečnosti, zdravotnictví či veřejné správě to nebude okrajová debata.
Anthropic může požádat o přezkum celým odvolacím soudem, případně se obrátit na Nejvyšší soud. Z článku neplyne, zda tak skutečně udělá. Jisté je jen to, že vedle sebe teď stojí dvě federální soudní rozhodnutí, která se na zákonnost podobného vládního kroku dívají rozdílně, protože vycházejí z různých zákonných ustanovení.
Technické mantinely AI často působí jako nudná položka v nastavení, dokud se z nich nestane otázka státní moci a vojenského použití. Tady se přesně tohle stalo — a samotný výkon modelu je najednou skoro vedlejší.
