Megérkezett a Llama Windows 11-re: helyi AI közvetlenül a tálcáról
A llama.cpp és a Hugging Face ingyenes appjával egyetlen kattintással futtathatók helyi AI-modellek Windows 11-en.

A Zac Zuo által bemutatott Llama Windows közvetlenül a Windows 11 tálcájáról teszi elérhetővé a nyílt forráskódú AI-modellek futtatását. A rendszer automatikusan a felhasználó számítógépéhez illő modelleket ajánl a Hugging Face kínálatából, amelyeket egyetlen kattintással le lehet tölteni. Az Alt+Space billentyűkombinációval bármilyen felületről azonnal indítható a csevegés.
A szoftver helyi, OpenAI-kompatibilis API-szervert biztosít a 9931-es porton, így a kódolási asszisztensek, szerkesztők és szkriptek közösen használhatják a háttérben futó modelleket. A letöltött modellek a közös Hugging Face gyorsítótárban maradnak, ami megelőzi a több gigabájtos fájlok felesleges duplikálását.
Az alkalmazás használatához nincs szükség parancssorra, rendszergazdai jogosultságra vagy felhős infrastruktúrára. Az eszköz teljesen ingyenes és nyílt forráskódú formában érhető el.