A Gradium nyílt forráskóddal tette közzé a Phonon nevű text-to-speech modellcsaládot, amelynek tagjai 50 millió paraméter alatti mérettel rendelkeznek, a modellek súlyai a Hugging Face-en érhetők el. A Phonon-31m modell Apache 2.0 licenc alatt érhető el, és közvetlenül a felhasználói eszközök hardverén képes valós időben, természetes hangzású angol beszédet generálni. A nagyobb, 40 millió paraméteres változatok öt nyelven beszélnek: angolul, franciául, németül, spanyolul és portugálul.
A fejlesztés a Kyutai Pocket TTS kutatására épül, és már a megjelenés napján széles körű platformtámogatást kapott. Az Arm és Qualcomm processzorokra optimalizált modell Apple Silicon chipeken MLX-Audio segítségével, míg az Ollama és az LM Studio rendszereiben beépítve, teljesen helyi adatfeldolgozással működik.
A Phonon súlyai és kódja elérhető a Hugging Face Hub felületén, emellett integrálták többek között a Daily Pipecat és a Modal rendszereibe is, lehetővé téve a helyi alapon futó hangalapú ügynökök és játékon belüli karakterek fejlesztését.
Az eredeti szöveg (Hugging Face (LinkedIn))
A new frontier for on-device speech.
We're open-sourcing Phonon, a suite of TTS models under 50m parameters, setting a new standard for naturalness and accuracy across languages, with the broadest inference support to date. Phonon-31m is available under Apache 2.0.
Our English models set a new standard for naturalness and accuracy at their size. But the real breakthrough is multilingual: a step change in speech quality over previous on-device models across five languages.
Phonon builds on our friends at Kyutai and their research on Pocket TTS, which showed that high-quality speech can run in real time on a consumer CPU.
We built this release with our launch partners:
→ Phonon weights are on the Hugging Face Hub, with support in Transformers, and pip install speech-to-speech runs it locally from day 0.
→ Phonon integrates KleidiAI from Arm , so it runs faster on Arm CPUs out of the box: 28 ms to first audio and 15x faster than real time, measured by Arm.
→ With Qualcomm , we're bringing Phonon to Snapdragon. On the Snapdragon 8 Elite Gen 5, Phonon starts speaking in 7.5 ms and runs 24x faster than real time.
→ Phonon now powers Read aloud in Bionic by LM Studio .
→ Phonon is integrated in Ollama . Local language model, local voice, nothing leaves your machine.
→ Phonon runs natively on Apple Silicon from day 0 with MLX-Audio.
→ With Pipecat by Daily , developers can build games where characters speak with Phonon on the player's device.
→ Xybrid AI runs Phonon inside its on-device engine, giving game characters real-time voices with no server round trip.
→ Modal built a voice agent that runs Phonon directly on the agent node: no GPU endpoint, no extra network hop.
→ Appning by FORVIA is a design partner using Phonon in joint R&D in an automotive context,
→ SurrealDB built a research agent that speaks with Phonon and remembers with SurrealDB Agent Memory, all on device.
→ Autonomous Inc. gave Lamp, their personal robot with an open-source OS, a voice generated on the robot itself with Phonon. Turning text into speech needs no cloud call.
