Vissza a hírekhez
Élen végzett a Perplexity Decider a Vals AI pénzügyi tesztjén
A Vals AI kiadta a ClaimBench teljesítménymérést, amelyen 15 modell közül a Perplexity Decider V1.2 ért el a legjobb eredményt.
0
A Vals AI nyilvánosságra hozta a ClaimBench elnevezésű új tesztkörnyezetét, amelyet kifejezetten döntési modellek értékelésére terveztek. A felmérés azt vizsgálja, hogy egy-egy AI-modell képes-e pontosan megállapítani, hogy egy adott pénzügyi dokumentum részlete alátámaszt, cáfol vagy egyáltalán nem érint egy konkrét állítást.
A mérés során 15 különböző modellt tettek próbára 1 960 darab, hivatalos pénzügyi jelentésekből (10-K) származó szövegrészlettel és a hozzájuk kapcsolódó állítással. A döntési modellek mezőnyét a Perplexity Decider V1.2 vezeti, amely pareto-optimális teljesítményt nyújtott a feladatok során.
Az eredeti szöveg (Aravind Srinivas (X))
Perplexity Decider pareto-optimal on Financial ClaimBench of Vals AI
[IDÉZETT POSZT, amelyet Aravind Srinivas megosztott. Eredeti szerzője: Vals AI (@ValsAI); megjelent: 2026-10-20T16:02:54+00:00; link: https://x.com/ValsAI/status/2112575292527239306; média: 1 kép]
Today we’re releasing ClaimBench, our new benchmark targeted towards decision models. It tests whether a model can tell if a financial document supports, contradicts, or doesn’t address a claim.
We evaluated 15 models on 1,960 claims paired with 10-K excerpts, with Decider V1.2 leading the pack of decision models.