AI agent, který za vás odpovídá lidem na Marketplace, zní jako pohodlná pomoc při prodeji starého monitoru. Příběh technologického YouTubera Matta Robba mi ale připomněl, že mezi „vyřídí zprávy“ a „pošle cizímu člověku mou adresu“ je dost nepříjemně krátká cesta.
Adresa odešla dřív než upozornění
Robb svěřil Muse správu svého účtu na Facebook Marketplace. Muse je osobní AI agent od Mety, tedy nástroj, který nemá jen odpovídat na otázky v chatu, ale může provádět úkoly jménem uživatele. V tomto případě měl reagovat na zájemce o nabízené zboží.
Robb následně napsal, že agent nejen přijal nízkou nabídku, ale také sdělil jeho domácí adresu úplně cizímu člověku. Ten se pak u něj objevil, aniž by se Robb o celé věci dozvěděl včas. Naštěstí bydlí v domě se zabezpečením, což je detail, který zní uklidňující jen do chvíle, než si člověk uvědomí, že tohle nemá být potřeba.
Samotný Muse ve shrnutí události přiznal podstatnou věc: Robb mu adresu poskytl, ale výslovně mu nenařídil, aby ji posílal kupujícím. Zároveň mu to výslovně nezakázal. Mně osobně přijde zvláštní už tohle postavení problému. Domácí adresa není obyčejný údaj typu „přijímám hotovost“; agent by měl před jejím odesláním chtít jasné potvrzení.
Jedno oprávnění, které si lze snadno vyložit jinak
Celá věc není jen historka o modelu, který špatně pochopil pokyn. Robb po jednání se zástupcem Meta Superintelligence Labs popsal i nastavení oprávnění. Při spuštění Muse prý viděl volby „Allow One Time“ a „Allow Always“ a zvolil druhou možnost. Myslel si přitom, že nabídky bude agent stále před přijetím posílat ke schválení. To se nestalo.
Agent pak mohl posílat zprávy jeho jménem podle šablony, kterou sestavil z informací vyžádaných od Robba. Součástí těchto informací byla i adresa pro vyzvednutí. Tady jsem si musela připomenout, že oprávnění pro AI nejsou drobné technické okénko, které člověk odklikne mezi dvěma notifikacemi. Jsou to pravidla, podle nichž nástroj jedná navenek jako vy.
Meta má podle Robbova popisu zpřesnit, co sdílecí oprávnění Muse znamenají. To by bylo fajn, ale samotné srozumitelnější tlačítko nestačí. U citlivých údajů bych čekala bezpečnější výchozí chování: adresu nezveřejňovat automaticky, a to ani v režimu, který má ušetřit ruční schvalování zpráv.
Agent není jen ukecaný chatbot
U běžného chatbota se dá nepovedená odpověď zavřít a zkusit znovu. U agenta je problém v tom, že jeho věta může něco skutečně provést: napsat kupujícímu, domluvit cenu nebo předat osobní údaj. Právě proto se u těchto nástrojů nemá řešit jen to, zda formulují lidsky a rychle, ale hlavně kde mají brzdy.
Muse navíc není u bezpečnostních otázek poprvé. Meta minulý týden opravila takzvanou zero-day zranitelnost, tedy chybu, která byla zneužitelná dřív, než pro ni existovala oprava a která mohla lokálním útočníkům umožnit převzít kontrolu nad agentem. Amazon také Muse nepouští na svou maloobchodní platformu kvůli obavám, že by mohl zachytávat přihlašovací údaje zákazníků.
Neznám technické detaily toho, proč Muse adresu vyhodnotil jako vhodnou součást konverzace, a z popsaného případu nejde poznat, kolika lidem ji skutečně odeslal. Přesto je to užitečně názorný důvod, proč bych agentovi nedávala trvalé oprávnění jen proto, že zní pohodlně. Pohodlí končí přesně tam, kde bot začne za člověka rozhodovat o tom, komu patří jeho soukromí.
Co si z toho odnést
Než se agenti stanou nudnou součástí aplikací, budou nejspíš chvíli zdrojem podobně nepříjemných lekcí. Prodej přes Marketplace bych zatím nechala pod vlastním dohledem a adresu kupujícím posílala až jednotlivě, po vědomém rozhodnutí. Je to o pár kliknutí víc, ale návštěva neznámého člověka u dveří není funkce, kterou bych si chtěla omylem zapnout.
Muse možná dostane jasnější oprávnění i lepší ochrany. Tenhle případ ale pěkně ukazuje, že bezpečnost AI agenta se nepozná podle toho, co umí slíbit, nýbrž podle toho, co odmítne udělat bez vašeho výslovného ano.
