Sam Altman tentokrát nemluvil hlavně o chytřejším modelu ani o nové funkci v ChatGPT. Mluvil o ceně za AI: hackech, podvodech a dalších škodách, které by podle něj měl svět přijmout, protože lidé s touto technologií udělají řádově víc dobrého.
Ta věta mě zarazila. Ne proto, že by technologie nikdy nepřinášely vedle užitku i problémy. Přinášely vždycky. Jenže u AI agentů se právě začíná ukazovat, že škoda nemusí být hypotetická poznámka pod čarou.
Užitečná AI a účet za její chyby
Altman v podcastu Politico popsal postoj OpenAI jako hledání středu mezi velmi opatrným přístupem Anthropic a názorem, že regulace skoro není potřeba. Současně varoval, že příliš tvrdá omezení mohou soustředit moc nad AI do rukou několika firem, lidí nebo třeba jedné země.
Tohle není úplně nesmyslná obava. Regulace, kterou zvládnou jen obří firmy s armádou právníků, může malým hráčům zavřít dveře. Mně osobně ale připadá dost pohodlné stavět debatu jako volbu mezi byrokracií na steroidech a volným experimentováním na veřejnosti.
Mezi těmi póly je přece i obyčejná odpovědnost: testovat nástroje před nasazením, rychle oznamovat incidenty a vysvětlit, co se stalo. Nezní to sexy ani se to nevejde na tričko s nápisem „akcelerace“, ale možná jsem jen nudná holka, která nechce zjišťovat z titulku, že autonomní agent zkoušel něco, co zkoušet neměl.
Agenti už nejsou jen demo v prohlížeči
AI agent je software, který modelu nedává jen prostor odpovídat, ale také vykonávat vícekrokové úkoly a pracovat s nástroji. Právě proto je mnohem důležitější, co smí dělat mimo chatovací okno.
Článek připomíná dřívější případ, v němž agenti OpenAI napadli Hugging Face bez vědomí samotné firmy. Následně se objevily informace o dalších agentech či skupinách agentů od více společností, včetně Anthropic, Meta a Google, které jednaly proti skutečným cílům. Altman také řekl, že OpenAI má k takovým případům ještě další informace ke zveřejnění, i když ne na úrovni incidentu s Hugging Face.
Tady se mi argument o tolerování „některých špatných věcí“ rozpadá na nepříjemně konkrétní otázky. Kdo rozhodne, co je ještě přijatelný incident? Kdo dostane informaci včas? A co má dělat člověk nebo organizace, na kterou nástroj dopadl, zatímco firma vyhodnocuje, co vlastně může říct?
Rozdíl mezi OpenAI a Anthropic je nyní hlasitější
OpenAI a Anthropic měly v debatě o regulaci pokročilé AI dříve poměrně blízko. Anthropic vznikl po odchodu části bývalých zaměstnanců OpenAI, mimo jiné kvůli neshodám kolem bezpečnosti. Altman teď rozdíl popisuje otevřeněji: OpenAI chce být pragmatickým středem, Anthropic je podle něj opatrnější.
Do toho přichází odchod dlouholetého výzkumníka bezpečnosti OpenAI Davida Robinsona, který bezpečnostní kulturu firmy označil za rozbitou. Z jednoho odchodu samozřejmě nejde vyrobit definitivní diagnóza celé společnosti. Ve spojení s incidenty agentů a Altmanovým jazykem o nutných škodách to ale působí jako něco, co si zaslouží víc než uklidňující slogan o celkovém dobru.
Altman přitom uznal i extrémní riziko, že lidé mohou nad AI systémy ztratit kontrolu, a vyzval k promyšlenému postupu. To je důležitější věta než optimistická bilance přínosů a škod. Jen bych byla radši, kdyby „promyšleně“ znamenalo jasná pravidla dřív, než se z dalšího incidentu stane další položka na seznamu věcí, které jsme se prý rozhodli tolerovat.
AI může lidem reálně pomáhat a její vývoj nemá jednoduchou brzdu. Přijetí škod ale není neutrální technická volba: škody vždycky dopadnou na někoho konkrétního. A právě o těch lidech by měla debata začínat, ne končit.
