Představa, že se Claude podílí na napadení OpenAI, zní skoro jako zbytečně dramatický titulek. V tomhle případě ale nešlo o útok útočníků: bezpečnostní výzkumníci testovali zabezpečení v rámci programu, který jim za nalezené chyby zaplatil.
Cesta vedla přes komunitní fórum
Tři výzkumníci z malé bezpečnostní společnosti Hacktron AI získali přístup k nástroji od Anthropic určenému pro bezpečnostní profesionály. S jeho pomocí se dostali do účtu ChatGPT jednoho zaměstnance OpenAI. Tento účet jim umožnil číst neveřejné informace o softwaru a navrhovat změny.
Nešlo přitom o nějaké magické prolomení samotného ChatGPT. Slabé místo mělo být v nastavení komunitního fóra OpenAI, které běží na službě třetí strany Discourse. Přes něj se výzkumníci dostali k internímu přihlášení a následně k zaměstnaneckému účtu. Ten měl přístup k internímu kódu přes GitHub.
Musela jsem si připomenout, že podobné hledání děr má docela běžný název: bug bounty je program, v němž firma platí etickým hackerům za zodpovědně nahlášené zranitelnosti. Hacktron AI za tento nález dostala 6 500 dolarů a OpenAI uvádí, že problémy opravila.
Claude zde nebyl samostatný útočník
Na celé věci mě zaráží hlavně formulace „Claude hacknul OpenAI“. Přesnější je, že lidé použili nástroj Anthropic při bezpečnostním testu. Z podkladů neplyne, které konkrétní kroky Claude udělal, kolik práce zůstalo na výzkumnících ani zda nástroj hledal slabinu sám. To je docela podstatný rozdíl, který se v efektním titulku snadno ztratí.
I tak je to užitečná připomínka, že schopnější AI nástroje mohou pomáhat oběma stranám. Bezpečnostnímu týmu zrychlí hledání problémů; stejnou výhodu ale mohou mít i lidé, kteří žádné chyby poctivě hlásit nechtějí. Největší problém tu přitom nevypadá jako jazykový model, ale jako řetězec přístupů mezi fórem, interním přihlášením a citlivými daty.
Anthropic zároveň měří vlastní práci s AI
Zpráva přichází ve chvíli, kdy Anthropic zveřejnil i čísla o tom, jak Claude používá při vlastním výzkumu a vývoji. U 26 % této práce měl Claude vývoj „vést“, zatímco v březnu šlo o 1 %. Pod tímto označením se rozumí, že AI na základě instrukcí a pod lidským dohledem dokončila většinu úkolů.
Číslo zní výrazně, ale neznamená to, že by si Claude samostatně vyráběl další verzi sebe sama. Anthropic naopak píše, že v žádné z hodnocených výzkumných činností model nepracoval plně autonomně. U 90 % úkolů spolupracuje s člověkem a obstarává velké části práce.
Firma tím mluví o takzvaném rekurzivním sebezdokonalování, tedy hypotetickém bodu, kdy by AI dokázala trénovat a zlepšovat sebe nebo nové modely. Mně osobně přijde užitečné držet se zatím méně filmové reality: lidé s AI nástroji zvládnou víc práce rychleji, a proto musí firmy o to pečlivěji hlídat, kam jejich účty a oprávnění vedou.
Malá odměna, velký rozsah přístupu
Šest a půl tisíce dolarů není za nalezenou chybu zanedbatelná částka. Vedle možnosti dostat se přes externě hostované fórum k zaměstnaneckému účtu a internímu kódu však působí spíš jako cena za velmi nepříjemné ponaučení.
Dobrá zpráva je, že nález byl nahlášen a opraven. Méně uklidňující je, že z dostupného popisu nevíme, jak dlouho zranitelnost existovala, kolik účtů mohla ohrozit ani jaké konkrétní informace byly z daného účtu dostupné. Právě takové nudné detaily bývají v bezpečnosti důležitější než to, který chatbot se objevil v titulku.
AI se tady neukázala jako samostatný padouch ani jako hrdinka. Spíš jako další velmi schopný nástroj v rukou lidí — a to je možná méně dramatické, ale pro zabezpečení firem mnohem praktičtější zjištění.
