Wat is imitation learning voor robots, en wanneer past het?
Imitation learning (leren door voordoen) leert een robot een taak door die voor te doen, niet door hem te programmeren, en past bij taken waarin producten of posities variëren. TOS Robotics gebruikt het in productie op een paprikalijn, met 40 picks per minuut per robot.
Hoe het werkt
- Voordoen. Iemand bestuurt de robot met de hand, bijvoorbeeld met de Teachbot, en voert de taak uit op echte producten. Bij TOS Robotics doen de eigen engineers dat.
- Opnemen. Het systeem slaat voor elk moment de camerabeelden en de beweging van de robot op.
- Trainen. Een neuraal netwerk leert het verband tussen wat de camera’s zien en wat de robot doet.
- Testen. Het model wordt geprobeerd op producten die niet in de demonstraties zaten.
- Draaien. Op de lijn bepaalt het model bij elk nieuw product wat de robot doet.
Imitation learning tegenover programmeren
Een geprogrammeerde robot herhaalt posities en regels die een engineer heeft vastgelegd. Een robot die met imitation learning is ingeleerd, heeft uit voorbeelden geleerd wat hij moet doen met wat hij ziet. Hij kan omgaan met variatie waar niemand een regel voor heeft geschreven, zolang de voorbeelden dat soort variatie bevatten.
Daardoor past het als producten van elkaar verschillen, zoals natuurproducten, als de taak afhangt van een vaardige hand, zoals voorzichtig hanteren of een gelijkmatig spuitpatroon, en als producten of verpakkingen vaak wisselen, waardoor telkens opnieuw programmeren te traag is. Het past minder als de taak elke cyclus identiek is. Een vaste pick vanaf een vaste positie is eenvoudiger en meestal goedkoper om één keer te programmeren.
Wat het nodig heeft
De robot doet na wat hem wordt voorgedaan, dus de demonstraties moeten zorgvuldig zijn. De voorbeelden moeten echte variatie bevatten, met kleine, grote, kromme en afwijkende producten. Voordat een model naar de lijn gaat, wordt het getest op producten die het niet heeft gezien.
Bij TOS Robotics
TOS Robotics gebruikt imitation learning op een flowpacklijn voor paprika’s bij een verpakker in Nederland, waar de robots paprika’s die in vorm en maat verschillen van een bewegende band pakken. De picknauwkeurigheid was daar 97,6% in de eerste weken en 99,1% in week zeven en acht.
Eén onderzoeksrichting gaat over de keuzes achter een demonstratie, zoals welk product je eerst pakt, in welke volgorde en langs welke route. TOS Robotics werkt hieraan met de Technische Universiteit Eindhoven (TU/e) in het onderzoeksproject ATLAS.
Vragen en antwoorden
Wat is het verschil tussen imitation learning en reinforcement learning?
Bij reinforcement learning leert de robot met vallen en opstaan en een beloning. Bij imitation learning leert hij van demonstraties, zonder vallen en opstaan op de echte lijn. TOS Robotics gebruikt beide, imitation learning om de taak aan te leren en reinforcement learning na ingebruikname om te blijven leren van de eigen picks van de robot.
Kan imitation learning omgaan met een band die blijft lopen?
De greep timen is het moeilijke deel. Op de paprikalijn volgen de robots de band met line tracking. In een labtest met één object in een masterscriptie bij TOS Robotics verhoogde een model met geheugen over de tijd het succes op een bewegende band van 18% naar 98% bij 0,10 m/s.
Lees verder
- TeachbotEen inleertool. Je stuurt hem met de hand en de robot volgt. Los te koop.
- Hoe lang duurt het om een robot een nieuw product aan te leren?Een nieuwe taak programmeren kost dagen tot weken. In een pilot van TOS Robotics bij een verpakker is een nieuwe taak in één dag aangeleerd.
- Pakken van een bewegende band met imitation learningIn een labtest op een transportband steeg het succes van 18% naar 98% bij 0,10 m/s en van 0% naar 90% bij 0,15 m/s.
- Reinforcement learning op een echte FANUC-robot, zonder simulatorIn zeven dagen op een echte FANUC-arm verhoogde een residuele RL-laag het succes op een labtaak van 51,1% naar stabiel 58 tot 60%.