# Reinforcement learning op een echte FANUC-robot, zonder simulator

In een masterscriptie bij TOS Robotics trainde Quint Bakens zeven dagen lang een kleine reinforcement learning-laag bovenop een vast imitatiemodel, op een echte FANUC-industrierobot en zonder simulator. Op een pick-and-place-taak in het lab steeg het succes van 51,1% naar stabiel 58 tot 60%, met een piek van 69,4%.

Source: https://tosrobotics.com/nl/onderzoek/reinforcement-learning-echte-robot/
Last updated: 2026-11-15
Masterscriptie: Quint Bakens, MSc Computer Science and Engineering, Technische Universiteit Eindhoven. Verdedigd: 2025-09-25.

## Probleem

Een imitatiemodel leert van demonstraties en wordt niet vanzelf beter in situaties die niemand heeft voorgedaan. Reinforcement learning, leren door uitproberen, kan een robot wel blijven verbeteren, maar de gangbare methodes trainen eerst in een computersimulatie. Een getrouwe simulatie van wisselende groente en fruit is duur om voor elke nieuwe taak te bouwen.

## Methode

De basis was een ACT-imitatiemodel (Action Chunking with Transformers), getraind op 200 demonstraties met teleoperatie en daarna vastgezet. Een klein residueel model daarbovenop leerde elke basisactie een correctie mee te geven.

De training liep rechtstreeks op een FANUC LR Mate 200iD/7L. De taak was een schuimbal uit een trechter pakken en op een platform leggen. Na elke poging rolde de bal terug in de trechter en beoordeelde een aparte camera of de poging lukte, zodat de robot een week lang zonder toezicht oefende.

De robot krijgt 250 commando's per seconde, en een gemist commando stopt hem. De scriptie berekent elke correctie daarom twee stappen vooruit, zodat er altijd een gecorrigeerde actie klaarstaat.

## Resultaten

| Echte robot | Succes |
|---|---|
| Alleen het imitatiemodel, 1.000 pogingen | 51,1% |
| Met de residuele laag, na ongeveer 5,3 miljoen stappen in zeven dagen | 58 tot 60%, stabiel |
| Hoogste gemeten tijdens de training | 69,4% |

De winst kwam van nauwkeuriger plaatsen. Het aantal stappen om een taak af te ronden bleef ongeveer gelijk. In simulatie meldt de scriptie tot 88% succes, tegen 79% voor ACT alleen. Na een plotselinge sensorfout in simulatie herstelde de gecombineerde methode zich na verloop van tijd, terwijl ACT alleen slechter bleef.

## Beperkingen

Het resultaat op de echte robot komt uit één run van zeven dagen met één labobject, niet uit een test met paprika's of op een productielijn. Het residuele model bleef de hele run in zijn verkennende trainingsmodus. Alleen een plotselinge sensorfout is getest, geen geleidelijke drift. Voor TOS Robotics is de scriptie het voorwerk voor reinforcement learning na ingebruikname.

Volledige titel: From Refinement to Reality: Hybrid IL+RL on Real Robots. A Sim-to-Real Study with Extensive Simulation and On-Robot Validation. Uitgevoerd bij TOS Robotics.

## Lees verder

- [AI-modellen voor pick and place van groente en fruit](https://tosrobotics.com/nl/producten/ai-modellen-pick-and-place/): Waar elk product wordt gepakt en geplaatst. 99,1% picknauwkeurigheid. Licentie voor elke robot.
- [Wat is imitation learning voor robots, en wanneer past het?](https://tosrobotics.com/nl/kennis/wat-is-imitation-learning/): Een robot een taak aanleren door die voor te doen, bij TOS Robotics in gebruik op een paprikalijn met 40 picks per minuut per robot.

## Vragen en antwoorden

### Wat is residual reinforcement learning?

De robot houdt het gedrag dat hij van demonstraties leerde en voegt aan elke beweging een kleine geleerde correctie toe. Die correctie leert hij door uitproberen, dus de robot begint bij gedrag dat al werkt.

### Hoe bleef de robot binnen veilige grenzen terwijl hij oefende?

Het vaste basisgedrag, een padplanner die grenzen oplegt aan positie, snelheid, versnelling en jerk, en de grenzen van de werkruimte hielden de robot binnen de perken. De scriptie geeft geen formele veiligheidsgarantie.

### Hoe verhoudt dit zich tot de productiecellen?

De scriptie testte de methode op ACT in een lab. De productiecellen van TOS Robotics gebruiken een diffusion policy op puntenwolken met een aparte padplanner, en het model blijft na de ingebruikname leren met reinforcement learning.
