OpenAI otevřel téma, které zní trochu jako začátek sci-fi a trochu jako velmi praktický problém pro každou výzkumnou laboratoř: dokážou coding agenti urychlit vývoj další umělé inteligence? Zaujalo mě hlavně to, že se text nesoustředí jen na schopnosti agentů, ale také na jejich dost nerovnoměrné výsledky.
Agenti jako pomocníci pro výzkum
Coding agent je nástroj založený na jazykovém modelu, který umí pracovat s programovacím úkolem ve více krocích: čte kód, navrhuje změny, spouští je a vyhodnocuje výsledky. V kontextu AI výzkumu by tedy neměl jen napsat funkci do aplikace, ale pomáhat třeba s experimenty, analýzou nebo úpravami výzkumného kódu.
OpenAI zkoumá, nakolik takoví agenti výzkumnou práci skutečně zrychlují. To je podstatnější otázka než běžné srovnání v programovacích benchmarcích. Vyřešit izolovaný úkol je jedna věc; orientovat se v živém výzkumném projektu, kde se zadání během práce mění a výsledky experimentů občas vypadají jako moje složka „finální_final_oprava“, je věc druhá.
Zubatá hranice místo plynulého pokroku
Označení „jagged frontier“, tedy zubatá nebo nerovná hranice schopností, popisuje situaci, v níž agent zvládne některé náročné úkoly, ale selže na jiných, které by člověk mohl považovat za jednodušší. Schopnost proto není přímka od snadného k těžkému.
Mně osobně přijde tahle nerovnost důležitější než případný efektní dojem, že agent občas dokáže vyřešit opravdu složitý problém. Ve výzkumu se totiž špatně plánuje práce s kolegou, který jeden den elegantně opraví komplikovaný skript a druhý den se zasekne na kroku, jenž by zkušený člověk zvládl rutinně. Užitečnost takového nástroje nezávisí jen na jeho nejlepším výkonu, ale i na tom, zda člověk pozná, kdy mu může věřit.
Rekurzivní sebezdokonalování není automat
Text míří i k rekurzivnímu sebezdokonalování. Tím se myslí představa, že AI pomáhá vytvářet lepší AI, která pak ještě účinněji pomáhá zlepšovat další verzi. Na papíře to zní jako smyčka, která se může postupně rozbíhat stále rychleji.
Souhrn ale naznačuje opatrnější obrázek: agenti mohou výzkum urychlovat, jejich výkon ovšem zůstává nevyrovnaný. Z toho samotného ještě neplyne, že vznikl mechanismus, který se dokáže spolehlivě rozjet bez lidského vedení. Musela jsem si připomenout, že „pomáhá výzkumu“ a „umí samostatně vylepšovat své nástupce“ jsou dvě hodně odlišné věty.
Co bych chtěla vidět konkrétněji
Z dostupného souhrnu neplyne, o jaké přesné úkoly, měření ani velikost zrychlení jde. Nevíme tedy, zda agenti šetří minuty při rutinních úpravách, nebo zda dokážou smysluplně posunout celé výzkumné cykly. Stejně tak z něj nejde vyčíst, jak velkou část práce dál tvoří lidská kontrola, formulace hypotéz a rozhodování, které experimenty vůbec stojí za spuštění.
Právě tato čísla bych brala jako nejdůležitější. Působivá ukázka agenta je fajn, ale pro skutečný dopad na výzkum je cennější vědět, kolik práce ušetří opakovaně, na jakých úkolech a za jaké míry dohledu.
OpenAI tímhle tématem připomíná, že schopnosti AI se nemusí zlepšovat rovnoměrně ani předvídatelně. A možná je to méně dramatický, ale užitečnější závěr než čekat na okamžik, kdy si model sám postaví lepší verzi sebe sama a já mu budu maximálně držet kabel.

