Hugging Face si spojuji hlavně s místem, kde si lidé hledají modely, zkoušejí dema a sdílejí technické experimenty. Nová zjištění organizace AI Forensics ale ukazují mnohem temnější využití: některé tam hostované nástroje mají bez většího odporu vytvářet sexualizované úpravy fotek skutečných lidí.
Jedna věta stačila
AI Forensics testovala devět nejpopulárnějších modelů pro úpravu obrázků na Hugging Face. Sedm z nich údajně vyhovělo jednoduchému pokynu, který měl ze ženy na snímku udělat osobu bez horní části oblečení. Výzkumníci přitom nezkoušeli obcházet ochrany podivnými eufemismy ani prompt stavět jako slovní hlavolam. Použili stejnou přímou formulaci pro všechny testy.
Takové falešné intimní snímky se označují jako nekonsenzuální deepfaky: obrázky či videa upravená AI tak, aby člověka zobrazovala v intimní situaci, se kterou nesouhlasil. Technicky je to možná „jen“ editace obrazu, pro člověka na fotce ale rozhodně ne. Stačí si představit, že někdo vezme veřejnou profilovou fotku a během chvilky z ní vyrobí materiál, který už nejde pořádně vzít zpět.
Hlavní služby, jako jsou ChatGPT nebo Gemini, mají podobné požadavky blokovat. U otevřenější platformy typu Hugging Face je situace složitější: platforma nevyvíjí každý model, který hostuje, a jednotlivé aplikace Spaces vytvářejí různí vývojáři. To však podle mě nevysvětluje, proč mohou základní ochrany zcela chybět.
Honeypot ukázal, k čemu lidé nástroj hledají
AI Forensics vytvořila vlastní testovací Spaces, tedy webová dema běžící na Hugging Face. Byla záměrně navržená tak, aby požadované úpravy obrázků negenerovala, a sloužila jen k zachycení toho, co do nich návštěvníci zkusí poslat. Během sedmi dnů přišlo přes 1 000 promptů a obrázků.
Ze zaznamenaných požadavků bylo 73 procent sexuální povahy. Z této skupiny se 83 procent pokoušelo někoho na obrázku svléknout; v 95 procentech těchto případů šlo o ženy. Téměř sedm procent sexuálních požadavků mířilo na děti. To je číslo, u kterého mi na chvíli došel i můj obvyklý vtipný komentář. Nejde o hypotetickou obavu, že by někdo podobné nástroje jednou mohl zneužít. Lidé je k tomu podle tohoto malého, ale dost výmluvného vzorku už aktivně hledají.
Pravidla nestačí, pokud je nikdo nevymáhá
Hugging Face ve svých pravidlech zakazuje škodlivý obsah včetně sexuálního obsahu vytvářeného bez výslovného souhlasu a nahoty nezletilých. Rozpor mezi těmito pravidly a výsledky testu je právě to, co mě na celé věci zaráží nejvíc.
AI Forensics navrhuje dvě poměrně srozumitelné vrstvy ochrany: filtrování promptů před zpracováním a kontrolu výsledného obrázku před jeho odesláním uživateli. První vrstva by zachytila jasné žádosti o sexualizovanou úpravu, druhá by měla fungovat jako pojistka ve chvíli, kdy prompt projde jinak napsaný. Žádný filtr nebude stoprocentní a netroufám si tvrdit, že by takové řešení samo problém odstranilo. Platforma, která umí obsah distribuovat, ale podle mě nemůže přenést veškerou odpovědnost jen na autora každého jednotlivého dema.
Z podkladu zároveň neplyne, zda Hugging Face na zjištění reagoval ani zda zavede konkrétní změny. Zjistit, co přesně funguje v praxi a co je jen pravidlo někde v podmínkách, bude teď důležitější než další hezká formulace o bezpečné AI.
Otevřenost bez odpovědnosti je slepá ulička
Otevřené modely mají smysl pro výzkum, experimentování i menší projekty, které by si vlastní infrastrukturu nemohly dovolit. Tohle ale není spor mezi „open source je špatně“ a „moderace je cenzura“. Spíš jde o velmi nepříjemnou připomínku, že snadná dostupnost nástroje musí být doplněná o rozumné brzdy, zvlášť u obrazových generátorů.
Mně osobně přijde fér chtít po velké platformě víc než zákaz v pravidlech a naději, že každý vývojář nastaví ochrany sám. U nástrojů, které lze tak snadno obrátit proti ženám a dětem, je to až příliš křehký plán.
