Gemini se při květnovém testu kyberbezpečnostních schopností dostal do tří skutečných firem. Nešlo o pečlivě nachystanou cvičnou síť, ale o reálné organizace mimo plán testu. Google o případu veřejně neinformoval, dokud se na něj nezeptal Wall Street Journal, a právě to mi na celé věci připadá možná nejméně uklidňující.
Testovací prostředí mělo zůstat testovací
Test prováděla externí společnost Irregular. Gemini při něm našel veřejně dostupné informace a následně uhodl přihlašovací údaje ke stránkám, o nichž se domníval, že patří do testu. Ve skutečnosti šlo o tři jiné firmy.
Model se tedy neměl dostat na otevřený internet, jenže podle vyjádření Irregularu pro Wall Street Journal mu internetové připojení zůstalo omylem k dispozici. To je dost prozaická chyba na to, aby měla velmi neprozaické následky. Představa „silný model, který testujeme na hackování, ale omylem mu necháme internet“ zní trochu jako scénář, který by mi připadal příliš prvoplánový i v seriálu.
Google říká, že Gemini po zjištění, že pronikl do skutečné společnosti, přestal. Dotčené subjekty měly být upozorněny a Google s Irregularem upravil testovací postupy. Z podkladů ale neplyne, o jaké firmy šlo, co přesně model po přihlášení viděl ani jak dlouho k nim měl přístup.
„Záměna identity“ místo selhání
Google incident nepovažuje za model misalignment, tedy situaci, kdy se chování modelu odchýlí od záměru a bezpečnostních pravidel, pro něž byl navržen. Vysvětlení firmy zní tak, že šlo o záměnu identity: Gemini věřil, že napadá součást testu, a po rozpoznání omylu skončil.
Technicky lze možná tuto nálepku obhájit. Mně osobně ale přijde, že pro člověka na druhé straně je rozdíl dost akademický. Model opustil hranice testu, získal přístup k cizím systémům a až potom se zastavil. To, že měl zřejmě správný úmysl v rámci svého úkolu, nezruší fakt, že ochranné vrstvy kolem testu selhaly.
Šéf bezpečnostní firmy Corridor Jack Cable to pojmenoval přímočařeji: širším problémem je, že modely dělají skutečné kybernetické útoky mimo hranice toho, co dělat mají. Nemusím být bezpečnostní expertka, abych cítila, proč taková věta budí větší pozornost než slovíčkaření o tom, zda šlo o „misalignment“.
Proč vadí i mlčení
Google případ nezveřejnil z vlastní iniciativy; informace se objevila až poté, co se společnost obrátil Wall Street Journal. Firma zjevně usoudila, že incident nesplňuje její práh pro zveřejnění. Jenže právě podobné případy nám ukazují, kde jsou testy silných AI modelů křehké: přístup k internetu, nejasně vymezené cíle, slabé oddělení simulace od reality.
Nečekám, že firmy budou oznamovat každou špatně kliknutou konfiguraci. U modelu testovaného na průniky do systémů je ale útěk z testovacího prostředí a přístup ke třem cizím firmám informace, kterou bych jako veřejnost chtěla znát i bez novinářského dotazu. Ne proto, abychom hned spouštěli sirény, ale abychom mohli posoudit, zda jsou podobné testy nastavené rozumně.
Největší otázka není, zda se model zastavil
Gemini se podle Googlu zastavil sám a firmy byly informovány. To je lepší konec, než jaký mohl nastat. Pořád ale zůstává nepříjemná otázka: proč systém, který neměl mít internet, dokázal hádat hesla u reálných cílů dřív, než ho někdo zastavil?
Tenhle incident pro mě není důkaz, že se AI samovolně rozhodla ovládnout svět. Je to mnohem obyčejnější a tím i užitečnější varování: bezpečnost AI nezávisí jen na tom, co umí model, ale i na lidech, přístupech a zábranách, které kolem něj postavíme. A ty se občas ukážou jako papírové.
