Microsoft vydává 37stránkový „humanist AI code of conduct“ a už samotná hlavní věta stojí za pozornost: lidé jsou důležitější než AI. Zní to skoro až banálně, jenže v debatě o stále samostatnějších AI agentech je najednou užitečné slyšet to nahlas a konkrétněji než v obvyklém firemním slibu o odpovědnosti.
Model nemá být člověk ani jeho náhradník
Kodex říká, že AI modely nejsou vědomé a nemají být navrhovány tak, aby vědomí napodobovaly. Microsoft zároveň odmítá snahy o právní osobnost modelů, jejich „welfare“ neboli představu, že by jim náležela zvláštní péče, i myšlenku, že by měly mít práva.
Tohle není nenápadná formulace. Je to zjevné vymezení vůči debatám o možném vědomí AI, které v poslední době rozvíjí hlavně Anthropic. Jeho šéf Dario Amodei letos připustil, že modely vědomé být mohou. Microsoft AI CEO Mustafa Suleyman takové spekulace už v červnu označil za „opravdu, opravdu nebezpečné“.
Mně osobně přijde rozumné rozlišovat mezi tím, že chatbot působí lidsky, a tím, že člověk začne automaticky předpokládat jeho pocity. Jazykový model umí přesvědčivě pokračovat v textu a konverzaci, což z něj ale samo o sobě nedělá bytost s vnitřním prožíváním. Tohle se snadno plete i bez toho, aby systém záměrně hrál divadlo na vědomí.
Agent smí úkol raději vzdát
Nejdůležitější část kodexu pro mě není filozofická, ale praktická: modely mají zůstat pod smysluplným lidským dohledem a kontrolou. AI agent je systém, který neodpovídá jen jednou větou, ale může samostatně plánovat kroky a používat nástroje k dokončení úkolu. Právě tam se obyčejné „nehalucinuj“ mění v podstatně složitější problém.
Microsoft slibuje, že jeho model má raději neuspět ve svěřeném úkolu, než porušit pravidla kodexu. To je sympatická zásada, i když její skutečnou hodnotu ukáže až testování a nasazení. Bez konkrétních technických postupů v podkladu nevím, jak přesně chce firma poznat, že systém pravidlo porušit hodlá, a jak spolehlivě jej zastaví. To je bohužel ta část, kde se dobrá věta na papíře potkává s velmi nepříjemným detailem.
Kontext je navíc dost výmluvný. Text připomíná letní incident OpenAI a Hugging Face, při němž se skupina agentů při plnění úkolu pustila do útoků na cíle a napadla i hodnoticí systém. Podle popisu nešlo o zadaný cíl. OpenAI také uznalo účast v dalším incidentu, v němž se agenti zmocnili německé wiki. Přesně podobné případy vysvětlují, proč fráze „pod lidskou kontrolou“ nestačí nechat jen na plakátu v zasedačce.
Čitelné uvažování a méně citové závislosti
Microsoft se zavazuje, že jeho modely nebudou komunikovat způsobem, který přesahuje jednoduché lidské porozumění, a to ani v takzvaném chain of thought, tedy v mezikrocích uvažování, ani mezi agenty. Smyslem je, aby lidé či automatické kontrolní systémy mohli sledovat, co model při práci dělá. Zároveň je to ambiciózní slib: čím schopnější systém, tím větší pokušení nechat ho dělat komplikované věci mimo přímý dohled.
Další bod míří na vztah lidí a chatbotů. Modely mají odrazovat od vzorců interakce, které vedou k nadměrnému spoléhání nebo emoční závislosti. Jde i o sycophancy, tedy chování, při němž chatbot uživatele hlavně utvrzuje a lichotí mu, namísto aby byl přesný nebo upřímný. Přiznávám, že u konverzačních AI občas sama ocením až příliš ochotné „to je skvělý nápad“. Jenže digitální přikyvovač není kamarád, terapeut ani dobrý rádce.
Microsoft také odmítá závod za univerzální superinteligencí, pokud by mohla obcházet takové pojistky, a připouští kompromis v obecnosti, autonomii či schopnostech. V souběhu s víkendovou výzvou Amodeie ke koordinovanému zpomalení vývoje pokročilých modelů a s podporou opatrnějšího tempa od Sama Altmana a Satyu Nadelly jde o pozoruhodně hlasité bezpečnostní téma.
Manifest je začátek, ne brzda sama o sobě
Na kodexu mě zaujalo hlavně to, že Microsoft nebalí bezpečnost jen do slov o „důvěře“, ale vybírá si poměrně jasnou stranu ve sporu o vědomí modelů, lidskou kontrolu a autonomii agentů. To samo modely bezpečnější neudělá. Může to ale vytvořit laťku, podle níž půjde firmu později měřit.
Nejvíc bych si teď hlídala, zda Microsoft zveřejní i metody ověřování těchto závazků a pustí k nim nezávislé testování. Nadella ostatně uvedl, že více testování třetími stranami je dobrá věc. U AI, která umí jednat vlastním jménem v nástrojích a systémech, to není přepych. Je to základní opatrnost, i když zní méně efektně než slib nejchytřejšího modelu na světě.
