Zpráva o tom, že Anthropic používá AI k rychlejšímu stavění další AI, by sama o sobě asi nikoho nepřekvapila. Mnohem víc mě zaujalo tvrzení organizace METR, že tempo zlepšování modelů Anthropicu je zhruba dvojnásobné oproti stavu před rokem — a že za velkou částí zrychlení nemá být jen více výpočetního výkonu, ale právě AI pomoc v samotném výzkumu.
Dva roky pokroku za jeden rok?
METR je organizace zaměřená na výzkum bezpečnosti AI. Její lidé strávili uvnitř Anthropicu 11 týdnů a hodnotili jeho výzkum a vývoj. Z benchmarků, tedy standardizovaných testů schopností modelů, jim vyšlo, že firma za poslední rok udělala přibližně dva roky historického pokroku.
To zní trochu jako věta, kterou bych si chtěla přečíst ještě třikrát a pak zavřít notebook. Výzkumníci přitom píší, že jsou přesvědčeni, že zrychlení nelze vysvětlit pouze větším množstvím výpočetní kapacity při trénování. V říjnu měla většinu tohoto efektu vytvářet AI a její podíl dál růst.
Uvnitř firmy jde zatím převážně o podporu lidských výzkumníků, ne o samostatně pracující systémy. Zaměstnanci v neformálních anketách na Slacku a rozhovorech uváděli, že s nejschopnějším interním modelem jsou při své práci v průměru asi dvanáctkrát produktivnější než bez AI. Je to sebehlášené číslo, takže bych ho nebrala jako laboratorně přesnou metriku. I tak je pozoruhodné, že je zhruba dvojnásobné proti odpovědím z doby před několika měsíci při používání modelu Mythos 5.
Interní modely, které si nemůžeme vyzkoušet
Část popsaného náskoku mají nést modely, jež Anthropic zatím nevydal. METR uvádí tři dokončené modely s pracovními názvy Model 2, Model 3 a Model 4. Trénování měly dokončit postupně v červenci, srpnu až září a září až říjnu. Zmíněn je i starší interní model označený Unreleased 2022.
Samotná existence neveřejných modelů není žádná senzace; firmy si nové systémy běžně testují dřív, než je pustí ven. Tady ale komplikuje obrázek: veřejnost nemůže porovnat schopnosti těchto modelů, jejich bezpečnost ani to, co přesně pracovníkům usnadňují. Mně osobně proto přijde opatrnější mluvit o silném náznaku zrychlení než o definitivně změřeném mechanismu.
Největší problém je začerněná část
Anthropic dal METR přístup k neveřejnému výzkumu, výkonovým datům i rozhovorům se zaměstnanci, což není málo. Současně ale mohl z veřejné verze výsledné zprávy odstraňovat informace. A podle METR tuto možnost využil ve velkém: zhruba stostránková plná zpráva byla pro zveřejnění zkrácena tak, že zmizela většina důkazů, které výzkumníci považovali za nejvíc vypovídající.
METR také popisuje úzký přísun informací a několik zamítnutých žádostí o data. To neznamená, že závěry jsou nutně chybné. Znamená to ale, že čtenář dostává závěry bez velké části podkladů, na nichž stojí. U tématu, kde se řeší možnost stále samostatnějšího vylepšování AI, je to dost nepříjemná kombinace.
Rychlost sama není odpověď
Výzkumníci nenašli jasné známky klesajících výnosů ani viditelné překážky, které by bránily ještě rychlejšímu zrychlování. Zaznamenali také náznaky, že by autonomní příspěvky AI mohly brzy hrát větší roli. Autonomní zde znamená, že systém zvládá kus práce bez průběžného vedení člověkem, ne jen rychleji doplňuje kód nebo shrnuje poznámky.
Právě tady na mě celá věc působí nejdivněji. Anthropic a jeho šéf Dario Amodei veřejně mluví o potřebě zpomalit vývoj AI, ale interní nástroje současně vývoj urychlují. Nevidím do jejich rozhodování a z tohoto podkladu nejde poznat, zda jsou bezpečnostní kontroly stejně rychlé jako výzkum. Tahle otázka mi ale po přečtení zůstala v hlavě víc než oněch dvanáctinásobků produktivity.
METR přinesl vzácný pohled za dveře špičkové AI laboratoře, jenže dveře zůstaly otevřené jen na škvíru. Zrychlení může být skutečně velké; bez nezredigovaných důkazů ale nevíme, jak přesně vzniká a zda mu odpovídá i tempo bezpečnostního dohledu.
