Vissza a hírekhez
Kipróbálom: STEMBenchulam.ai/stembench
A Mistral Large 4 kiemelkedően teljesített egy új STEM-teszten
A Mistral AI legújabb modellje magas pontszámot ért el mérnöki tudományokban és csillagászatban az Ulam zárt benchmarkján.
0
A Mistral AI közzétette a Mistral Large 4 legújabb teszteredményeit az Ulam által fejlesztett zárt mérési rendszeren. A STEMBench elnevezésű benchmark adatai szerint a modell kiemelkedő pontszámokat ért el a mérnöki tudományok és a csillagászat területén.
A zárt benchmarkok előnye, hogy a modellek nem tudják előre megtanulni a tesztkérdéseket a tanítóadatokból. A mostani eredmények alapján az új modell összetett természettudományos feladatokban is megbízható teljesítményt nyújt.
Az eredeti szöveg (Mistral (X))
Turns out le Chonk is into rocket science.
Mistral Large 4 scoring well in engineering and astronomy on Ulam’s private benchmark, STEMBench: https://www.ulam.ai/stembench