A Microsoft bejelentette, hogy a DeepSeek és az Nvidia nyílt forráskódú modelljei közvetlenül a Windows operációs rendszeren, helyben is futtathatók lesznek. A hibrid intelligenciának nevezett megoldás lényege, hogy az adatvédelmi szempontból kényes vagy gyorsaságot igénylő feladatok az eszközön futnak, míg a többi a felhőben marad.
A bemutatott DeepSeek V4 Flash modellt rendkívüli módon, 1,6 bitesre tömörítették, így 60 GB memóriával rendelkező gépeken is képes működni. Az Nvidia október 15-én érkező, több mint 70 milliárd paraméteres Nemotron modellje szintén helyben fut majd, erős ágensfunkciókat biztosítva a felhasználóknak.
A helyi futtatáshoz komoly hardverre lesz szükség, elsősorban az Nvidia RTX Spark chippel szerelt számítógépekre, mint amilyen a 2599 dolláros indulóáron előrendelhető új Surface Laptop Ultra. A Microsoft emellett a népszerű llama.cpp motort is integrálja a Windows ML környezetbe a fejlesztők támogatására.
Az eredeti szöveg (Perplexity Discover)
A Microsoft október 7-én, szerdán közölte, hogy a DeepSeek és az Nvidia nyílt súlyozású mesterségesintelligencia-modelljei helyben, közvetlenül a Windowsos számítógépeken is futni fognak. A bejelentést a vállalat San Franciscó-i Windows- és Surface-rendezvényén tették. A terv része annak, amit a Microsoft „hibrid intelligenciának” nevez: ennek lényege, hogy az MI-feladatok egy része az eszközön, másik része a felhőben fut. A cég több mint két év után először tartott laptopokra fókuszáló eseményt.
A CNET beszámolója szerint Pavan Davuluri, a Windows vezetője úgy fogalmazott, hogy a helyi MI „a PC következő fejezetét fogja alakítani”. A színpadon bemutatott egyik dia szerint a 284 milliárd paraméteres DeepSeek V4 Flash modell paraméterenként 1,6 bitesre tömörítve, vagyis kvantálva 60 GB memóriában is elfut.
A Microsoft a hivatalos élő közvetítés diái szerint úgy jellemezte a DeepSeek V4 Flasht, hogy „csúcsközeli intelligenciát kínál 60 GB memóriában". Az Nvidia szakértői keverék (mixture-of-experts) modellként írja le, amelynek 13 milliárd aktív paramétere van. A Reuters beszámolója szerint a V4 modell legalább 60 GB memóriával rendelkező gépeken is futtatható, és bizonyos kódolási és érvelési feladatokban felülmúlhatja az OpenAI GPT-5-ös modelljét.
Az Nvidia október 15-én egy új, helyben futtatható Nemotron modellt is kiad, amely több mint 70 milliárd paraméteres, és „erőteljes ágensképességekkel" rendelkezik. A nyitóelőadás diái nem tüntették fel a modell pontos nevét. A SlashGear jelentése szerint a Nemotron és a DeepSeek V4 Flash egyaránt működni fog a Windows ML futtatókörnyezettel. A Microsoft azt is bejelentette, hogy a népszerű, nyílt forráskódú inferenciamotor, a llama.cpp is megérkezik a Windows ML-be, magas szintű API-kkal a generatív MI-alkalmazások fejlesztéséhez. Megjelenési dátumot egyelőre nem közölt.
További MI-bejelentések is elhangzottak:
- A Microsoft saját fejlesztésű MAI Code 1.1 Flash modellje helyben is futtatható lesz.
- A GitHub HydraFusion nevű megoldása, amely feladatonként választ modellt, képes lesz a munkát helyi Windows-modellekhez irányítani.
- A Microsoft Execution Containers (MXC) biztonsági korlátokat szab majd arra, hogy mit tehetnek az MI-ágensek.
A modelleket az Nvidia RTX Spark chipjével szerelt PC-kre szánják, amelyekben akár 128 GB egységes memória is lehet. Az új Surface Laptop Ultra is ezt a chipet használja. A CNET szerint ára 2599 dollártól indul, az előrendelés már nyitva áll, a szállítás pedig péntektől, október 16-tól kezdődik. A Reuters beszámolója szerint az esemény a Microsoft és az Nvidia évek óta tartó közös munkájának egyik állomása volt: olyan feladatokat, például a kódírást, szeretnének a felhőből az asztali gépekre és laptopokra áttenni.
Az 1,6 bites tömörítés teszi lehetővé, hogy mindez működjön. 4 biten a DeepSeek V4 Flash súlyai nagyjából 142 GB-ot foglalnának, ami több, mint amennyi bármelyik RTX Spark-gépben van. Az erős tömörítés ráadásul ronthatja a modell minőségét, a „csúcsmodell-közeli" jelző pedig a Microsoft saját állítása. Külső csoport még nem tesztelte.
