Gemini Robotics ER 2 nie je model, ktorý priamo ovláda jednotlivé motory robota. Funguje skôr ako jeho riadiaci mozog. Analyzuje obraz, video a zvuk, rozhoduje o ďalšom postupe a konkrétne pohyby odovzdáva robotickému API alebo samostatnému vision-language-action modelu.
Robot dokáže kontrolovať, či úlohu naozaj dokončil
Jednou z hlavných noviniek je lepšie porozumenie videu a sledovanie priebehu úloh. Model môže priebežne vyhodnocovať, či robot správne dokončil jednotlivé kroky. Google uvádza príklady, ako je zaskrutkovanie žiarovky alebo zatvorenie vreca na odpad. Ak výsledok nezodpovedá zadaniu, systém môže postup upraviť namiesto toho, aby automaticky pokračoval ďalším krokom.
Gemini Robotics ER 2 môže zároveň plánovať ďalší krok počas vykonávania aktuálnej činnosti. Robot tak nemusí po každom pohybe zastaviť a čakať na nový plán.
Čo Gemini Robotics ER 2 dokáže
Model podporuje:
- priestorové porozumenie a identifikáciu objektov,
- sledovanie objektov a udalostí vo videu,
- kontrolu priebehu a dokončenia úloh,
- plánovanie dlhších postupov,
- používanie externých nástrojov a vlastných API,
- koordináciu viacerých robotov,
- spracovanie priebežného audio a video vstupu.
Vývojár môže napríklad prepojiť model s robotickým ramenom, kamerou, internou databázou alebo vyhľadávaním. Gemini Robotics ER 2 vytvorí plán a jednotlivé kroky následne vykonajú pripojené systémy.
Google ukázal aj spoluprácu viacerých robotov. Jeden robot môže identifikovať predmet alebo pripraviť pracovný priestor, zatiaľ čo druhý vykoná nadväzujúcu úlohu. Model pritom rozdeľuje zadanie podľa schopností jednotlivých zariadení.
Dostupnosť je zatiaľ v režime preview
Gemini Robotics ER 2 je dostupný vývojárom cez:
- Gemini API,
- Google AI Studio,
- Gemini Enterprise Agent Platform v režime private preview.
V Gemini API ide stále o preview model. Vývojári môžu použiť verziu gemini-robotics-er-2-preview alebo streamovaciu verziu gemini-robotics-er-2-streaming-preview, ktorá je určená na priebežné spracovanie obrazu a zvuku s nízkou odozvou.
Google zatiaľ nezverejnil samostatný verejný cenník pre Gemini Robotics ER 2. Keďže nejde o stabilnú verziu, parametre, dostupnosť aj spôsob účtovania sa ešte môžu meniť.
Model nenahrádza bezpečnostné systémy robota
Schopnosť rozumieť videu a kontrolovať postup práce môže zlepšiť spoľahlivosť robotických systémov, model však nemožno používať ako jedinú bezpečnostnú vrstvu.
Pri nasadení v skladoch, výrobe alebo pri práci v blízkosti ľudí zostávajú potrebné samostatné senzory, fyzické obmedzenia, núdzové zastavenie a kontrola oprávnení. Výstup generatívneho modelu môže byť nepresný alebo nesprávne vyhodnotiť situáciu.
Google v ukážkach testoval aj zastavenie humanoidného robota pri priblížení človeka a pokračovanie v práci po uvoľnení priestoru. Ide však o demonštráciu schopnosti modelu, nie náhradu certifikovaných bezpečnostných systémov.
Gemini Robotics ER 2 je momentálne zaujímavý najmä pre vývojárov robotiky, výskumné tímy a firmy, ktoré už majú vlastný robotický hardvér alebo integračnú platformu.
