Vissza a hírekhez
Emberi videókból tanul fizikai feladatokat a Google humanoid robotja
A Gemini 4 Argon modell órák alatt alakítja át a felvett emberi mozdulatokat valódi robotvezérléssé.
0
A videóban egy Apollo 2 humanoid robot látható, amint egy emberi felvétel elemzése után egymás után többször célba dob egy cornhole játékban.
A Google DeepMind kutatói egy belső tesztben megmutatták, hogy a Gemini 4 Argon modell képes egy emberi videó alapján kiszámítani a fizikai mozgáshoz szükséges adatokat. Az AI a felvétel elemzése után egy virtuális szimulációt épített a MuJoCo környezetben, majd pontosan megtervezte az Apptronik Apollo 2 humanoid robot teljes testes mozgásvezérlését.
Ez a Video-to-Sim-to-Real folyamat hetekről néhány órára csökkenti a kézi modellezés idejét. A megoldás segítségével a sima videókból végtelen edzőpálya hozható létre a fizikai AI rendszerek számára. A teszt során a humanoid robot egymás után 7 alkalommal talált a célba a valóságban.
Az eredeti szöveg (Google DeepMind (YouTube))
In an internal test, Google DeepMind robotics researchers instructed Gemini 4 Argon to watch a video of a human playing cornhole. Using its video understanding and advanced reasoning capabilities, Gemini 4 built a virtual simulation in MuJoCo and accurately calculated the physics and whole-body control required for Apptronik’s Apollo 2 humanoid to sink seven consecutive shots in the real world. This Video-to-Sim-to-Real pipeline compresses weeks of manual modeling into a few hours, transforming ordinary videos into an infinite training ground for physical AI.
Learn more about Gemini 4 Argon: https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-argon/
___
Subscribe to our channel https://www.youtube.com/@googledeepmind
Find us on X https://x.com/GoogleDeepMind
Follow us on Instagram https://instagram.com/googledeepmind
Add us on Linkedin https://www.linkedin.com/company/deepmind/