Reinforcement learning op een echte FANUC-robot, zonder simulator

In een masterscriptie bij TOS Robotics trainde Quint Bakens zeven dagen lang een kleine reinforcement learning-laag bovenop een vast imitatiemodel, op een echte FANUC-industrierobot en zonder simulator. Op een pick-and-place-taak in het lab steeg het succes van 51,1% naar stabiel 58 tot 60%, met een piek van 69,4%.

Probleem

Een imitatiemodel leert van demonstraties en wordt niet vanzelf beter in situaties die niemand heeft voorgedaan. Reinforcement learning, leren door uitproberen, kan een robot wel blijven verbeteren, maar de gangbare methodes trainen eerst in een computersimulatie. Een getrouwe simulatie van wisselende groente en fruit is duur om voor elke nieuwe taak te bouwen.

Methode

De basis was een ACT-imitatiemodel (Action Chunking with Transformers), getraind op 200 demonstraties met teleoperatie en daarna vastgezet. Een klein residueel model daarbovenop leerde elke basisactie een correctie mee te geven.

De training liep rechtstreeks op een FANUC LR Mate 200iD/7L. De taak was een schuimbal uit een trechter pakken en op een platform leggen. Na elke poging rolde de bal terug in de trechter en beoordeelde een aparte camera of de poging lukte, zodat de robot een week lang zonder toezicht oefende.

De robot krijgt 250 commando’s per seconde, en een gemist commando stopt hem. De scriptie berekent elke correctie daarom twee stappen vooruit, zodat er altijd een gecorrigeerde actie klaarstaat.

Resultaten

Echte robot Succes
Alleen het imitatiemodel, 1.000 pogingen 51,1%
Met de residuele laag, na ongeveer 5,3 miljoen stappen in zeven dagen 58 tot 60%, stabiel
Hoogste gemeten tijdens de training 69,4%

De winst kwam van nauwkeuriger plaatsen. Het aantal stappen om een taak af te ronden bleef ongeveer gelijk. In simulatie meldt de scriptie tot 88% succes, tegen 79% voor ACT alleen. Na een plotselinge sensorfout in simulatie herstelde de gecombineerde methode zich na verloop van tijd, terwijl ACT alleen slechter bleef.

Beperkingen

Het resultaat op de echte robot komt uit één run van zeven dagen met één labobject, niet uit een test met paprika’s of op een productielijn. Het residuele model bleef de hele run in zijn verkennende trainingsmodus. Alleen een plotselinge sensorfout is getest, geen geleidelijke drift. Voor TOS Robotics is de scriptie het voorwerk voor reinforcement learning na ingebruikname.

Volledige titel: From Refinement to Reality: Hybrid IL+RL on Real Robots. A Sim-to-Real Study with Extensive Simulation and On-Robot Validation. Uitgevoerd bij TOS Robotics.

Vragen en antwoorden

Wat is residual reinforcement learning?

De robot houdt het gedrag dat hij van demonstraties leerde en voegt aan elke beweging een kleine geleerde correctie toe. Die correctie leert hij door uitproberen, dus de robot begint bij gedrag dat al werkt.

Hoe bleef de robot binnen veilige grenzen terwijl hij oefende?

Het vaste basisgedrag, een padplanner die grenzen oplegt aan positie, snelheid, versnelling en jerk, en de grenzen van de werkruimte hielden de robot binnen de perken. De scriptie geeft geen formele veiligheidsgarantie.

Hoe verhoudt dit zich tot de productiecellen?

De scriptie testte de methode op ACT in een lab. De productiecellen van TOS Robotics gebruiken een diffusion policy op puntenwolken met een aparte padplanner, en het model blijft na de ingebruikname leren met reinforcement learning.

Zie het werken met jouw product

Stuur ons je product en je verpakkingsvorm. Wij laten zien wat de robot ermee doet, in simulatie of op onze testcel in Vught.

Demo aanvragen