Fable 5.2 vagy Gemini 4 Carbon? A Claude tokenre 4-szer, feladatra csak 17%-kal drágább

Ha a legnehezebb, hosszan futó programozási és ügynöki munkát bíznád gépre, a Claude Fable 5.2 a jobb választás. Ha sok kérést futtatsz, nagy anyagokon dolgozol, és a havi számla is számít, a Gemini 4 Carbon adja a legtöbbet a pénzedért. A 2 modell egymást követő napokon jelent meg: az Anthropic november 9-én adta ki a Fable 5.2-t, a Google másnap tette mindenki számára elérhetővé a Carbont. A gyártók saját táblázatai persze mind a saját modelljüket hozzák ki győztesnek. Ezért ebben az elemzésben a gyártói számokat független mérésekkel vetjük össze, és megnézzük, mennyibe kerül egy valódi feladat, nem csak egy token.

Mit tud a 2 modell papíron?

Mindkettő a gyártója legerősebb, nyilvánosan elérhető modellje, és mindkettőt hosszú, több lépésből álló munkára szánták. A Claude Fable 5.2 1 millió tokenes kontextusablakkal és 128 ezer tokenes maximális válaszhosszal érkezett, a gondolkodása mindig be van kapcsolva, és alapból magas fokozaton fut. Az Anthropic szerint akár 30%-kal gyorsabban ír, mint az elődje, és az ára 20%-kal lett alacsonyabb a Fable 5.1-hez képest.

A Gemini 4 Carbon október 28-án még csak szűk körben, kiberbiztonsági szakértőknek volt elérhető, november 10-től viszont a fejlesztők a Google AI Studio fizetős szintjén, a cégek a Gemini for Business felületén, az AI Ultra-előfizetők pedig a Gemini appban is használhatják. Ingyenes szinten nem érhető el. A Google mellé egy ügynökraj-funkciót is kiadott az Antigravity platformon, amellyel egyetlen utasításból összehangolt ügynökcsapat indítható.

A Carbon kontextusablakáról nincs hivatalos szám az árlistán, a Google csak annyit ír, hogy a modell „long-decode” módban akár 1 millió tokenig generál. Ezt érdemes szem előtt tartani, ha óriási dokumentumokkal dolgoznál.

Melyik az okosabb a független mérés szerint?

Az Artificial Analysis összesített indexén a Fable 5.2 vezet, mégpedig mindhárom vizsgált gondolkodási fokozaton. Az Artificial Analysis egy független elemzőcég, amely ugyanazt a tesztcsomagot futtatja minden modellen, és megméri, mennyi idő és pénz kell egy-egy feladathoz.

A táblázat legérdekesebb sora nem a csúcs, hanem a középmezőny. Magas fokozaton a Fable 5.2 okosabb, gyorsabban végez, és csak 1,32 dollárral drágább feladatonként, mint a szintén magas fokozaton futó Carbon. A maximális fokozat ugyan további 3 pontot hoz, de közben a költség majdnem a 3-szorosára nő, és egy feladat átlagosan 47,8 percig tart. Ez a gyakorlatban azt jelenti, hogy a „max” beállítás ritkán éri meg, csak ott, ahol egyetlen jó válasz sokat ér.

Hol erősebb a Fable, és hol a Carbon?

A Fable a kódolásban, a tudományos ügynöki munkában és a számítógép kezelésében erősebb, a Carbon az üzleti munkafolyamatokban. Az alábbi számok a gyártók saját közzétett táblázataiból valók. A Carbon eredményei az Anthropic összehasonlításában pontosan egyeznek a Google DeepMind saját oldalán közöltekkel, ezért ezeket egymás mellé lehet tenni.

A legnagyobb különbség a tudományos ügynöki munkában van, majdnem 10 százalékpont. Ez az a terület, ahol a modellnek önállóan kell parancsokat futtatnia, adatokat feldolgoznia és a saját hibáit javítania. Gondolj rá úgy, mint 2 gyakornokra, akik ugyanazt a laborfeladatot kapják: az egyik többször jut el a végéig anélkül, hogy segítséget kérne. A grafikonolvasásban viszont gyakorlatilag döntetlen van, 0,9 pont a különbség.

A Google táblázatában van egy szám, ami nagy anyagokkal dolgozóknak fontos lehet. A GraphWalks hosszú kontextusú teszten a Carbon 96,2%-ot ért el 256 ezer és 1 millió token közötti szövegeken. A Fable 5.2 ebben a táblázatban nem szerepel, csak az elődje, a Fable 5.1, 65,0%-kal, ezért közvetlen összevetés erre nincs.

Érdemes azt is tudni, hogy ugyanannak a modellnek a pontszáma gyártónként eltérhet. A GPT-6 Astra a Terminal-Bench-Science teszten az Anthropic táblázatában 68,1%, a Google-éban 63,3%. Az Opus 5.5 grafikonolvasása az egyiknél 64,4%, a másiknál 66,3%. A futtatási beállítás, a gondolkodási fokozat és a próbálkozások száma mind számít, ezért 1-2 pontos különbségre nem érdemes döntést építeni.

Mennyibe kerül valójában egy feladat?

Tokenre számolva a Fable 5.2 most 4-szer, december 1-től 2-szer drágább a Carbonnál, egy elvégzett feladatra viszont ennél jóval kisebb a különbség. A Google ugyanis 2 dolláros bemeneti és 10 dolláros kimeneti bevezető árat kér november 30-ig, utána a Gemini API árlistája szerint 4 és 20 dollárra emeli. Az Anthropic hivatalos árlistáján a Fable 5.2 8 és 40 dollár.

Nézzünk egy egyszerű példát. Egy kérés 200 ezer token bemenettel és 20 ezer token kimenettel a Fable 5.2-n 2,40 dollár, a Carbonon most 0,60, decembertől 1,20 dollár. Ez a matek azonban csak a tokenárat mutatja. A valódi számlát az dönti el, hány tokent használ el a modell, mire befejezi a munkát: mennyit gondolkodik, hányszor fut neki újra, mennyi kitérőt tesz. A Google kifejezetten jelzi, hogy a gondolkodási tokeneket is kiszámlázza.

Ezért fontos az Artificial Analysis feladatonkénti költsége. Magas fokozaton a Fable 5.2 nagyjából 17%-kal kerül többe egy feladatra, nem 4-szer annyiba, mert kevesebb kitérővel és rövidebb idő alatt végez. Van még egy apró, de fontos részlet: az Anthropic maga írja, hogy a Claude újabb modelljeinek szövegdarabolója (tokenizere) ugyanarra a szövegre nagyjából 30%-kal több tokent számol, mint a régebbi Claude-modelleké. A tokenár tehát gyártók között soha nem pontosan összevethető.

A gyorsítótárazott bemenet mindkettőnél olcsó: a Fable 5.2-nél 0,20 dollár 1 millió tokenenként, a Carbonnál most 0,10, decembertől 0,20 dollár. Ha ugyanazt a hosszú dokumentumot vagy kódbázist sokszor küldöd be, ez a sor fontosabb lehet, mint az alapár.

Melyik válaszol gyorsabban?

Egy teljes feladatot a Fable 5.2 fejez be hamarabb, az első szót viszont a közepes fokozatú Carbon mondja ki leghamarabb. Az Artificial Analysis mérésén magas fokozaton a Fable 5.2 átlagosan 26,72 másodperc múlva kezd el válaszolni, a Carbon 67,83 másodperc múlva. Ennyi ideig a modellek csendben gondolkodnak, mint a sakkozó, aki percekig nem nyúl a bábuhoz, mielőtt lép.

A tiszta írási sebesség közel van egymáshoz: a Fable 5.2 másodpercenként 95, a Carbon 80 tokent ír az elemzőcég 5 napos átlaga szerint, igaz, a Fable maximális, a Carbon magas fokozaton mérve. Ha neked a sebesség mindennél fontosabb, a Fable 5.2-nek van egy gyors módja, amely az Anthropic szerint akár 2,5-szer gyorsabban generál, cserébe 16 és 80 dolláros tokenárral.

Mit mondanak az emberek, és mit a valódi munka?

A hétköznapi csevegésben a felhasználók a Carbont részesítik előnyben. Az Arena szöveges ranglistáján, ahol emberek szavaznak 2 névtelen válasz közül, a Gemini 4 Carbon 1526 ponttal az első helyen áll. Ez azonban előzetes eredmény 4273 szavazatból, a Fable 5.2 pedig november 11-én még nem szerepelt a lista általunk látott részében. A szavazás azt méri, melyik válasz tetszik jobban, nem azt, melyik végez el egy több órás munkát.

A valódi munkára a Remote Labor Index a legjobb mérce, amely az Upwork szabadúszó platformról vett, kifizetett megbízásokon teszteli a modelleket. A teszt 240 projektből áll, egy megbízás átlagosan 632,60 dollárt ért, és egy embernek majdnem 29 órájába került. A Fable 5.2 a feladatok 41,3%-át oldotta meg elfogadható minőségben, ahogy erről már beszámoltunk, ami nagyjából 2-szerese a második helyezett Opus 5.5 21,25%-ának. A Carbont még nem mérték le, a korábbi Gemini Argon 4 17,08%-on áll.

Ez lenyűgöző ugrás, de érdemes a helyén kezelni. A feladatok majdnem 60%-ánál még a legjobb modell is elbukott, és a programozóügynökökről szóló friss mérés is arra figyelmeztet, hogy valós fejlesztési feladatoknál 10-ből 7 esetben hibáznak. Az emberi ellenőrzés tehát egyik modell mellől sem spórolható meg.

Melyiket válaszd?

1. Nagy kódbázison dolgozol, vagy önállóan futó fejlesztőügynököt építesz? Indulj a Fable 5.2-vel, magas fokozaton. A FrontierSWE és a Terminal-Bench-Science eredményei itt a legnagyobbak, és magas fokozaton a feladatonkénti költség is kezelhető.
2. Ügyféllevelezést, CRM-et, táblázatokat automatizálsz? Próbáld ki előbb a Carbont. Az AutomationBench-en ez a modell vezet, és tokenre lényegesen olcsóbb.
3. November 30-ig futtasd le a saját tesztjeidet a Carbonon. A bevezető ár a decemberi ár fele, így most a legolcsóbb kideríteni, elég-e neked.
4. Kapcsold be a gyorsítótárazást, ha ugyanazt a hosszú anyagot küldöd be újra és újra. Mindkét modellnél ez a legnagyobb megtakarítás, sokszor nagyobb, mint a modellváltás.
5. Ne a „max” fokozattal kezdj. Az Artificial Analysis szerint a Fable 5.2 maximális fokozaton 3 pontot nyer, de majdnem 3-szor annyiba kerül, és majdnem 3-szor annyi ideig fut.
6. Mérd a saját feladatodon, ne a táblázaton. Futtass le 20-30 valódi kérést mindkét modellen, és számold össze a költséget és a javítandó hibákat. Ez többet mond minden ranglistánál.

Amit még nem tudunk

A legtöbb itt közölt pontszám gyártói mérés, amelyet a cég maga futtatott és maga válogatott ki, a független adatok közül pedig az Artificial Analysis a modelleket eltérő gondolkodási fokozaton is mérte, ami nem mindig ugyanaz a beállítás. A Carbon kontextusablakát és maximális válaszhosszát a Google számszerűen nem közölte, a Remote Labor Index még nem mérte le, az Arena szöveges listáján pedig a Fable 5.2 eredménye még nem látszott, a Carbon helyezése pedig előzetes. Az árak is mozognak: a Carbon decemberben drágul, és egyik gyártó sem ígérte, hogy a mostani árak tartósak. Ezért ez a kép néhány hét múlva már más lehet, a saját mérésed viszont mindig a te munkádról szól.