U zpráv o nových AI nástrojích si často říkám, že další detektor obrázků zní trochu jako položka navíc v nekonečném katalogu. Tady je ale problém až nepříjemně konkrétní: generované sexuálně zneužívající snímky dětí zahlcují kanály, přes které se má hledat skutečné a bezprostřední nebezpečí.
OpenAI proto představilo klasifikátor, tedy nástroj, který automaticky třídí obrázky podle toho, zda pravděpodobně obsahují materiál se sexuálním zneužíváním dětí (CSAM). Má umět zachytit i snímky vytvořené AI a pomoci vyšetřovatelům dostat se rychleji k případům, kde mohou zasáhnout.
Největší potíž není jen tvorba, ale i třídění
Americká linka NCMEC CyberTipline, která přijímá a předběžně vyhodnocuje hlášení o podobném materiálu, dostala v roce 2025 asi 400 000 hlášení souvisejících s generativní AI. Rok předtím to bylo 67 000. Ten skok je dost děsivý i bez toho, abych předstírala, že rozumím všem procesům v pozadí takové linky.
Uměle vytvořené snímky mohou přibývat rychleji než kapacita lidí, kteří je kontrolují. Přitom falešný snímek není jen technický šum: může oddálit nalezení materiálu zachycujícího reálné zneužívání dítěte. Právě proto mi dává smysl řešit nejen to, zda AI něco umí vyrobit, ale také zda dokážeme příval výsledků rozumně roztřídit.
OpenAI uvádí, že její klasifikátor označil o 48 procent méně obrázků k lidské kontrole než předchozí přístup, přičemž mezi označenými snímky byla pravděpodobnost závadného obsahu dvojnásobná. Jsou to firemní čísla, ne nezávislý audit, takže bych z nich ještě nedělala definitivní verdikt. Jako cíl ale zní správně: méně zbytečné práce, bez přehlédnutí skutečně nebezpečných případů.
Rozlišení syntetiky může pomoci, nesmí z ní udělat výjimku
Nástroj má samostatně označit obsah pravděpodobně vytvořený AI. Podle OpenAI jde o první široce dostupný klasifikátor CSAM s takovým příznakem a má zachytit materiál z různých nástrojů, včetně open-source modelů a aplikací pro takzvané „svlékání“ lidí na fotkách.
Musela jsem se u toho zastavit u jedné důležité nuance. Rozlišit syntetický snímek od záznamu skutečného násilí může vyšetřovatelům pomoci nastavit prioritu, ale nemělo by to znamenat, že AI obsah je méně závažný. OpenAI ostatně sama zdůrazňuje, že syntetický CSAM může podporovat škodlivé chování a bývá nalézán vedle materiálů se skutečnými dětmi. Právně jsou ve Spojených státech zakázané oba typy.
Varování v ChatGPT je malá brzda, ne řešení samo o sobě
OpenAI také mění reakci ChatGPT na pokusy vytvářet tento typ obsahu. První pokus má vyvolat varování, nabídnout kontakty na pomoc a na 24 hodin pozastavit přístup ke službě; účet může být při dalším porušování trvale uzavřen. Firma uvádí, že všechny případy CSAM hlásí NCMEC.
Čtyřiadvacetihodinová pauza mi na první pohled připadá až podezřele mírná. Má ale vycházet z doporučení odborníků jako pokus přerušit škodlivé jednání a nasměrovat člověka k odborné pomoci, ne jen automaticky trestat. Z článku neplyne, jak se bude účinnost tohoto postupu měřit ani kolik organizací nový klasifikátor skutečně nasadí. Bez toho se těžko pozná, zda jde o užitečnou pojistku, nebo hlavně o hezky znějící politiku.
Celé to působí jako experiment, a jeden z představitelů státní správy ho tak přímo popsal. Mně osobně připadá cenné už to, že se pozornost přesouvá od abstraktní debaty o „AI bezpečnosti“ k úzkému problému, kde záleží na každé zbytečně prověřované fotce i na každém přehlédnutém případu.

