Nyílt forráskódúvá vált a DeepSeek saját inferencia keretrendszere
A DeepSeek elérhetővé tette a DeepInfer keretrendszert, amely a saját modelljeit szolgálja ki alacsony késleltetéssel és nagy áteresztőképességgel.
A DeepSeek nyílt forráskódúvá tette a DeepInfer nevű belső inferencia keretrendszerét, amellyel a saját termelési rendszereit működteti. Az eszköz többek között a DeepSeek-V4.1-Flash modellt is kiszolgálja nagy léptékben, garantálva a magas áteresztőképességet és az alacsony késleltetést.
A cég a fejlesztői közösséggel azért osztja meg a teljes termelési rendszert, hogy segítsen csökkenteni a számítási költségeket és az energiafelhasználást. A keretrendszer célja, hogy a mesterséges intelligencia modellek futtatása megfizethetőbbé váljon a fejlesztők számára.
A DeepInfer kódja és dokumentációja ingyenesen hozzáférhető a GitHub-on, így bárki letöltheti és használhatja saját infrastruktúráján.