Vissza a hírekhez
Új párhuzamosítási eljárást fejlesztett ki a Luma AI
A Luma Labs új rendszere felgyorsítja a nagy méretű multimodalis adathalmazok feldolgozását AI-modellképzésnél.
0
A Luma AI egy új sorozat-párhuzamosítási eljárást mutatott be, amely a csomagolt multimodális maszkok hatékonyabb kezelésére szolgál. A módszer dinamikusan választ a gyűrűs figyelem (ring attention), a ritka all-to-all és a rétegenkénti Ulysses architektúrák között.
Az új megközelítés pontosan megegyezik az egyetlen GPU-n futtatott numerikus számítások eredményével. A mérések szerint 48-ból 47 esetben gyorsabbnak bizonyult a korábban használt FlashMask és Ulysses hibrid megoldásnál, akár 128 darab Nvidia H100 GPU-ból álló kluszteren is.
Az eredeti szöveg (Luma (X))
Exact sequence parallelism for packed multimodal masks.
It picks ring attention, a sparse all-to-all or Ulysses per layer, matches single-GPU numerics, and beats a FlashMask + Ulysses hybrid in 47 of 48 cases on up to 128 H100s.
https://lumalabs.ai/news/packed-multimodal-attention