Elindult a GDPx, az új MI-mérőszám a csúcsmodellek ügynökképességeire
A SemiAnalysis új tesztje 11 kiemelt területen méri az MI-modellek teljesítményét, ahol jelenleg az Opus 5.5 vezet mindössze 12 százalékos eredménnyel.
Pontszám (tetszik mínusz nem tetszik): 0
A SemiAnalysis elindította a GDPx nevű értékelési rendszert, amelyet a legfejlettebb MI-modellek ügynökképességeinek mérésére terveztek. A teszt 11 kulcsfontosságú iparágat fed le, többek között a chiptervezést, a kiberbiztonságot, a szoftverfejlesztést, a pénzügyet és a jogot. A feladatok kidolgozásához specializált partnerekkel működtek együtt, hogy a korábbi rendszereknél sokkal valósághűbb és összetettebb szimulációs környezeteket hozzanak létre.
A teszt nehézségét mutatja, hogy a jelenleg elérhető legjobb modell, az Opus 5.5 is mindössze 12 százalékos összteljesítményt ért el. A méréseket jelentősen befolyásolják a modellekbe épített biztonsági szűrők, amelyek bizonyos kiberbiztonsági vagy biológiai feladatoknál blokkolják a válaszadást. A biztonsági kategóriák figyelmen kívül hagyásával a szűrők által kevésbé korlátozott modellek helyezése megváltozik.
A felmérés szerint az OpenAI és az Anthropic modellei dominálják a mezőnyt, míg a Gemini 4 Carbon a Google eddigi legerősebb versenytársa a kategóriában. A pénzügyi és jogi feladatok annyira összetettek, hogy a tesztelt modellek szinte kivétel nélkül 0 százalékos pontszámot értek el bennük.
Az eredeti szöveg (SemiAnalysis)
GDPx is a benchmark that covers the most valuable domains for frontier intelligence. It aims to be the world’s best benchmark for measuring general agentic capabilities.
We believe the first trillion dollars of AI revenue will be concentrated in sectors that can deploy frontier intelligence at high ROI, not broadly diffused throughout the whole economy. Building a general-purpose benchmark based on share of GDP or the SOC/O*NET occupational taxonomy is therefore a mistake. If your goal is to track the progress of frontier models, you should focus on the domains where they will be most impactful.
Specifically, we cover the following domains:
And intentionally forgo industries like government, real estate, and insurance.
GDPx is a true frontier-level benchmark: even the best model scores just 12%.
It’s worth emphasizing that certain models like Opus 5.5 and GPT-6 Astra have sandbagged overall scores due to their safety classifiers. If we exclude cyber, biology, and alignment—the three domains where safety classifiers sometimes kick in—you get the following results instead.
We were pleasantly surprised by how well this ranking lines up with our subjective impression of the models. OpenAI and Anthropic generally dominate the top of the ranking while SpaceXAI, Meta, and open-weight models are all meaningfully behind. Gemini 4 Carbon is a real improvement from Google and the only model in the same ballpark as Opus and Astra. It will be interesting to see people’s impressions once Carbon becomes generally available.
We believe it’s underrated how relevant safety classifiers are when picking the best model for certain use cases. For example, Muse Wonder Full is actually the best available cyber model today by a meaningful margin.
We also generally observe meaningful spikiness across all leading models.
Opus 5.5 is the best all-around model and wins in quant trading, hardware design, and chip design. Gemini 4 Carbon is the best bio model (likely due to weaker safety classifiers) and edges out the win in software engineering. GPT-6 Astra wins convincingly for RSI and is also the best model for materials science. Our finance and legal tasks are so challenging that basically every model scores exactly 0.
Interestingly, if you subset to a single model family, you will sometimes see very similar spikes.
The cost vs performance Pareto frontier also matches our general experience using the models: Luna and DeepSeek fight for the low end, Opus wins the high end, and OpenAI claims the middle. Again, however, the appearance of Gemini 4 Carbon is worth watching closely.
It’s impossible to make all the nuanced comparisons enabled by GDPx in a single newsletter. To explore the data yourself, checkout the official website.
Domain-specific benchmarks have gotten significantly better over the past year largely thanks to the rise of specialized RL environment startups. Yet OpenAI’s GDPval (along with its derivatives like GDPval AA v2.1) remains the most popular general purpose benchmark still reported on major new model release cards. This is despite being released over a year ago on September 25, 2025—an eternity in AI land. GDPval may have been marketed as a “knowledge work” benchmark, but agents weren’t really even a thing yet. This had a huge impact on its task design, and as we’ll later explain, makes GDPval woefully inadequate for evaluating today’s frontier models.
Our goal with GDPx is to create the world’s best benchmark for general agentic capabilities. However, as soon as we started working on this project, it became clear why we’ve yet to see a worthy GDPval successor. Models like GPT-6 Astra and Opus 5.5 are already pushing the boundaries of human knowledge. If you want to make a finance or cyber task these models can only solve < 20% of the time, you need real domain expertise to ensure the task is hard for the right reasons. Many popular benchmarks sidestep this problem by shipping tasks that are downright unfair. This typi
Kérdezz a hírektől!Az elmúlt napok quicknews-híreiből válaszolok, forrással.
A kérdésedre a mesterséges intelligencia a quicknews.hu hírei alapján válaszol, és tévedhet. A kérdést a Google Gemini dolgozza fel. Ne írj bele személyes adatot. Részletek
Az oldal magától nem használ sütit. A hozzájárulásoddal a látogatottságot a Google Analytics, a Facebook-hirdetéseink eredményét a Meta pixel méri. Részletek