Az Amazon nyilvános bétaként tette elérhetővé a TorchNeuron nevű szoftvert, amely lehetővé teszi, hogy a fejlesztők átírás nélkül futtassák meglévő PyTorch-kódjukat a Trainium2 és Trainium3 AI-chipeken. Az eszközt az Amazon chipfejlesztő részlege, az Annapurna Labs fejlesztette ki, és Apache 2.0 licenc alatt nyílt forráskódúvá is teszik.
A TorchNeuron a PyTorch beépített rendszerét használja a hardver regisztrálására, így a meglévő tesztelési, hibakeresési és skálázási munkafolyamatok változatlanul működnek. Az Amazon az eszközt a Hugging Face több mint 100 000 modelljén teszteli, és a rendszer teljes mértékben együttműködik a PyTorch elosztott betanítási keretrendszerével, a TorchTitannel is.
A fejlesztés célja az Nvidia szoftveres fölényének csökkentése a felhős infrastruktúrákban. A beszédfelismeréssel foglalkozó Deepgram mérései szerint a Trainium használatával dolláronként nagyjából 60 százalékkal több hanganyagot tudnak feldolgozni a korábbi GPU-s rendszerekhez képest.
Az eredeti szöveg (Perplexity Discover)
Az Amazon bemutatta a TorchNeuront. A szoftverrel a fejlesztők PyTorchban írt kódot futtathatnak az Amazon Trainium AI-chipjein egyetlen konfigurációs módosítással, átírás nélkül – írta a Reuters. Az eszköz az Annapurna Labsnél, az Amazon chipfejlesztő részlegénél készült. A cél az a szoftveres előny, amely az Nvidia vezető szerepének hátterében áll az AI-számítástechnikában.
A TorchNeuron tavaly év végétől zárt béta tesztelés alatt állt. Az Amazon október 19-én, hétfőn nyilvános bétaként minden fejlesztő számára elérhetővé tette – közölte a GeekWire. Az Amazon azt mondta, hogy október 20-án, kedden, a PyTorch Conference North America rendezvényen nyílt forráskódúként, Apache 2.0 licenc alatt adja ki a szoftvert. Az eszköz a Trainium2-t és a Trainium3-at támogatja.
Eddig azoknak a fejlesztőknek, akik PyTorch-kódot szerettek volna futtatni a Trainiumon, át kellett írniuk a kódjukat, hogy az kifejezetten az Amazon chipjeihez készült programozási felületeket hívja meg – mondta Colin Brace, az Annapurna Labs vezetője a GeekWirenek. „Ha ismered a PyTorchot, akkor ismered a Trainiumot is” – fogalmazott. A TorchNeuron a PyTorch beépített rendszerét használja új hardverek regisztrálására, így a fejlesztők által már megszokott tesztelési, hibakeresési és skálázási eszközök változtatás nélkül működnek a Trainiumon – közölte az Amazon. Emellett együttműködik a TorchTitannel, a PyTorch elosztott betanítási keretrendszerével is.
Az Amazon minden éjjel teszteli az eszközt a Hugging Face több mint 100 000 modelljén – mondta Brace. A cég módosításokat is beküldött magához a PyTorchhoz, hogy kivezesse azokat a kódrészleteket, amelyek a keretrendszert bizonyos chipekhez kötötték – írta a GeekWire.
„Az volt a célunk, hogy ott találkozzunk az ügyfelekkel, ahol éppen tartanak” – mondta Brace a Reutersnek. Elmondása szerint több mint 30 korai ügyfél használja a szoftvert a robotika, a világmodellek és a hangalapú mesterséges intelligencia területén. A beszédfelismeréssel foglalkozó Deepgram startup közölte, hogy a mérései alapján a Trainium dolláronként nagyjából 60%-kal több hanganyagot dolgoz fel, mint a cég jelenlegi GPU-s rendszere – írta a GeekWire.
A PyTorch fejlesztését a Meta felügyeli, és a legtöbb mesterségesintelligencia-fejlesztő használja. Az Nvidia több mint egy évtizede építi a Cudát, vagyis azt a szoftverplatformot, amelynek köszönhetően a PyTorch-kód jól fut a cég saját chipjein – írta a Reuters. A kód más hardverre történő átültetése hónapokig tartó mérnöki munkát igényelhet. Emiatt sok cég húzódozik az átállástól – számolt be a GeekWire.
A riválisok is hasonló lépéseket tesznek. A Google, az Alphabet tagja a TorchTPU-t fejleszti, hogy a PyTorch natívan futhasson a cég saját chipjein. A Microsoft a múlt héten közölte, hogy mesterségesintelligencia-szolgáltatásainak többségét saját Maia chipjein tervezi futtatni – írta a GeekWire.
A Trainium legnagyobb felhasználói egyelőre az Amazonhoz pénzügyileg kötődő mesterségesintelligencia-laborok, köztük az Anthropic és az OpenAI. Andy Jassy vezérigazgató áprilisban azt írta, hogy az Amazon chipüzletágának éves bevételi rátája meghaladja a 20 milliárd dollárt – számolt be a GeekWire. Brace a TorchNeuronról azt mondta, hogy „felgyorsítja” a chipek szélesebb körű elterjedését. Az Amazon szerinte a hardverrel kapcsolatban mindig is a „választási lehetőség biztosítását” tűzte ki célul.
