Nejvíc mě tentokrát zaujalo, že se debata o AI zvládla během pár dnů přepnout od otázky „kdo má nejsilnější model“ k mnohem praktičtějším „kolik stojí užitečná práce“ a „co se pokazí, když model necháme pracovat dlouho“. A do toho přichází tlak z Číny, který americkým laboratořím nejspíš moc klidný spánek nepřidá.
Co stojí za pozornost
Čínské modely tlačí hlavně cenou
Moonshot a Alibaba představily modely Kimi K3 a Qwen, které mají podle dostupného přehledu mířit proti špičce od OpenAI a Anthropic, ale za podstatně nižší cenu. Právě kombinace výkonu, nákladů a otevřenějšího přístupu je na tom pro mě zajímavější než další tabulka benchmarků. Model může být technicky výborný, ale pokud ho malý tým nemůže rozumně provozovat, zůstává trochu jako sportovní auto za výlohou.
Článek The Verge to čte jako další utažení souboje mezi Čínou a Silicon Valley. To mi přijde pravděpodobné, i když z krátkého souhrnu nepoznám, na kterých konkrétních testech a za jakých podmínek se modely srovnávají. U podobných tvrzení bych si proto nechala malý vykřičník v hlavě: cena i výkon modelu se umějí změnit podle úlohy, délky vstupu a způsobu nasazení rychleji, než stihnu dopít kávu.
Dlouho běžící agenti mají jiné druhy průšvihů
OpenAI popisuje zkušenosti s nasazováním modelů, které pracují dlouho bez okamžitého lidského zásahu. Dlouhý horizont zde znamená, že systém neudělá jediný krok, třeba neodpoví na dotaz, ale plánuje a provádí více navazujících kroků. To je přesně typ agentů, které zní lákavě při správě úkolů nebo práci s nástroji, zároveň ale mají více příležitostí udělat chybu a tu si ještě vlastním postupem rozvinout do větší chyby.
Zaujalo mě, že se tu nemluví jen abstraktně o „bezpečné AI“, ale o pozorovaných selháních a pojistkách zlepšovaných postupným nasazováním. Alignment, česky zhruba slaďování chování modelu s lidskými záměry a pravidly, totiž není jednorázové políčko, které si firma odškrtne před vydáním. Čím samostatnější úkol systému svěříme, tím méně mi připadá rozumné brát jeho výstup jako hotovou věc bez kontroly.
Místo počtu licencí raději spočítat hotovou práci
Další text z OpenAI přináší takzvaný scorecard pro měření návratnosti AI. Nejde o nový model, ale o snahu hodnotit nasazení podle užitečné práce, ceny za úspěšně dokončený úkol, spolehlivosti a návratnosti výpočetního výkonu. Return on compute je v tomhle pojetí prostě otázka, zda peníze utracené za výpočty skutečně přinášejí hodnotný výsledek.
Mně osobně je tenhle přístup sympatický, protože počet aktivních uživatelů nebo zakoupených licencí ještě neříká, zda nástroj někomu reálně ušetřil práci. Zároveň je tu háček: „užitečná práce“ se měří snáz u jasně ohraničeného úkolu než u kreativní nebo strategické práce. Metriky tedy samy o sobě spor nevyřeší, ale mohou zabránit tomu, aby se z AI projektu stal drahý chatbot, který vypadá zaměstnaně a nikam nevede.
Z tohoto malého výběru si odnáším hlavně to, že závod v AI nebude jen o nejvyšším skóre modelu. Budu sledovat, zda levnější čínské alternativy obstojí v reálném používání a jestli firmy dokážou u agentů stejně poctivě měřit přínos i rizika.
