Imitation learning als er meer dan één goede manier is
In een masterscriptie bij TOS Robotics mat Lore Verstraete hoe een ACT-imitatiemodel op een FANUC-robot wisselt tussen twee goede manieren om een taak uit te voeren, als beide in de demonstraties voorkomen. Met zijn eigen geplande acties als extra input daalde de afwijking van het eerste gewricht met 5 tot 22%, maar het aantal mislukte taken daalde niet consequent.
Probleem
Als een taak op meer dan één goede manier kan, laten de demonstraties verschillende antwoorden op dezelfde situatie zien. Dat heet action multimodality. ACT (Action Chunking with Transformers) kan beide antwoorden leren en dan van de ene voorspelling op de volgende wisselen. ACT middelt bovendien overlappende voorspellingen, zodat “ga naar de linker bal” en “ga naar de rechter bal” kunnen worden tot “ga tussen de ballen”, een beweging die in de demonstraties niet voorkomt. Het gevolg is aarzeling, vreemde grijperstanden of een livelock, waarbij de robot boven een product blijft hangen en de taak niet afmaakt.
Opstelling
- een FANUC LR Mate 200iD/7L met een zuignap, aangestuurd met 250 commando’s per seconde via de padplanner van TOS
- de Teachbot voor teleoperatie, met een trekker die het vacuüm loslaat
- vier Intel RealSense D405-camera’s, twee op de grijper, één erboven en één aan de zijkant
- een band die twee identieke ballen van 90 mm naar twee vaste posities brengt, waar de robot ze allebei pakt en kiest welke eerst
Er zijn 300 demonstraties opgenomen met de Teachbot, de helft links beginnend en de helft rechts, 240 voor training en 60 voor validatie. Elk werkend model voerde de taak 100 keer achter elkaar uit.
Methode
In deze opstelling voorspelt ACT elke 0,15 s een blok van 1 s beweging en krijgt het geen input over wat het eerder plande. De scriptie voegde de volgende f geplande acties toe als extra input, zodat het model weet naar welke bal het op weg was. Drie van de acht instellingen werkten niet: de robot liet de bal niet los of bleef erboven hangen.
Consistentie is gemeten als de gemiddelde afwijking tussen de voorspellingen voor het eerste gewricht, dat links of rechts bepaalt, en de positie die dat gewricht echt bereikte. Lager betekent minder wisselen.
Resultaten
| Vooruitblik als input | Gemiddelde afwijking, eerste gewricht | Mislukte taken van 100 |
|---|---|---|
| Geen, standaard ACT | 0,53 graden | 7 |
| 0,04 s | 0,47 graden | 1, maar koos altijd dezelfde kant |
| 0,2 s, twee instellingen | 0,44 en 0,46 graden | 11 en 7 |
| 0,4 s | 0,50 graden | 13 |
| 0,9 s | 0,41 graden | 8 |
Elke werkende instelling week 5 tot 22% minder af dan standaard ACT. Mislukte taken namen niet consequent af, en livelocks kwamen nog steeds voor. De resultaten verschilden per testsessie, wat de auteur toeschrijft aan ongecontroleerde verstoringen in de opstelling.
De taak is bewust vereenvoudigd en alleen ACT is geëvalueerd. Er is geen deterministisch criterium gevonden dat voorspelt of een wissel herstelt of in een livelock eindigt. De productiecellen van TOS Robotics gebruiken nu een diffusion policy, zie diffusion policy versus ACT.
Volledige titel: Improving Imitation Learning from Visual Observation for Tasks with Action Multimodality. Uitgevoerd bij TOS Robotics.
Vragen en antwoorden
Waarom doet dat wisselen ertoe op een verpakkingslijn?
Een robot die twijfelt tussen twee producten verliest cyclustijd, en een robot die ertussen vastloopt heeft een operator nodig. Elke nieuwe voorspelling is een nieuwe kans om te wisselen, dus een robot die vaker voorspelt om sneller te bewegen, heeft deze consistentie meer nodig.
Hoe verhoudt dit zich tot diffusion policies?
De scriptie noemt diffusion policies als aanpak die meerdere goede gedragingen beter vastlegt dan ACT, met tragere inferentie, maar heeft ze niet getest. De productiecellen van TOS Robotics gebruiken nu een diffusion policy op puntenwolken met een aparte padplanner.
Welke vervolgstappen stelt de scriptie voor?
Systematisch afstemmen van de hyperparameters, een vergelijking met real-time action chunking, en de latente variabele van ACT tijdens het draaien kiezen in plaats van op nul te zetten, zodat het model bij één manier van werken blijft.