Waarom we van ACT overstapten op een diffusion policy
TOS Robotics stapte over van ACT naar een diffusion policy, omdat ACT kan middelen tussen twee juiste antwoorden, terwijl een diffusion policy veel antwoorden trekt waaruit wij er één kiezen. Het model voorspelt nu alleen waar het moet pakken en waar het moet plaatsen, en een padplanner beweegt de robot. Met een 3D-puntenwolk in plaats van camerabeelden als input daalde de gemiddelde rotatiefout in onze offline test van 26,0 naar 14,9 graden.
Eerste opstelling
In 2025 draaiden onze robots op ACT, kort voor Action Chunking with Transformers, een imitation learning-model. Voor elk camerabeeld voorspelt het een korte reeks gewrichtshoeken, een chunk, die we naar de robot streamden. Het werkte op paprika’s die los van elkaar lagen, in onze eigen testopstelling.
Wat er misging
Een model dat gewrichtshoeken streamt, beweegt in het tempo van de demonstrateur, en sneller kon alleen door opgenomen stappen over te slaan.
ACT middelt ook. Tijdens het draaien staat de interne variabele die vastlegt welke van meerdere goede manieren de demonstrateur koos op nul, het gemiddelde, dus het model geeft één gemiddeld antwoord. Als twee antwoorden allebei goed zijn, kan dat antwoord ertussenin uitkomen. Een masterscriptie bij TOS Robotics over dit probleem zag picks tussen twee producten, en een robot die soms boven een product stopte en daar bleef staan. In onze plaatstaak kan een paprika in twee standen liggen, 180 graden uit elkaar, en hun gemiddelde staat 90 graden verkeerd.
Wat we veranderden
Sinds januari 2026 voorspelt het model alleen de pickpose en de plaatspose van de zuignap. Een padplanner beweegt de robot, zodat die sneller kan bewegen dan de demonstrateur, de band kan volgen met zijn eigen line tracking en elke pose op veiligheid kan controleren.
Begin februari 2026 verving een diffusion policy ons eerste posemodel. Die begint bij willekeurige ruis en haalt die stap voor stap weg tot er een antwoord overblijft, dus elke run geeft een ander antwoord. We draaien hem 50 keer per pick en middelen alleen de grootste groep antwoorden op rotatie, zodat twee goede standen twee groepen blijven. Voor het plaatsen kiest een classifier tussen de twee standen. Pickdoelen gebruiken één draaiwaarde, omdat een ronde zuignap zonder effect om zijn as kan draaien.
De 50 samples geven ook twee signalen. Een grote spreiding in positie gaat samen met meer mispicks. En in onze analyse zat er in bijna alle cycli minstens één werkende pick onder de 50. Een kleine risicoscorer die daaruit kiest, halveerde ongeveer de mispicks in een gerandomiseerde test op één robot.
In juni 2026 verving een puntenwolk, 3D-punten op het oppervlak van de paprika van twee dieptecamera’s, de camerabeelden. Het diffusion-deel bleef hetzelfde.
| Offline test op achtergehouden samples | Beeld als input | Puntenwolk als input |
|---|---|---|
| Positiefout, gemiddeld | 14,3 mm | 13,4 mm |
| Rotatiefout, gemiddeld | 26,0° | 14,9° |
| Omgedraaid, meer dan 90° verdraaid | 4,3% | 0% |
De beeldcijfers komen uit een oudere testverdeling. Sinds juli 2026 is de puntenwolk de enige input in productie.
Resultaat
Sinds juli 2026 draaien modelwijzigingen als in blokken gerandomiseerde tests op de lijn. De paprika’s, de dag en de machine kunnen het mispickpercentage met ongeveer een factor twee verschuiven, en onze offline testbank vond een keer geen beter model terwijl de live test dat wel deed. In een analyse in september 2026 kwam ongeveer de helft van de resterende mispicks van de paprika zelf, de vacuümafdichting of een paprika die na de foto bewoog.
Vragen en antwoorden
Is een diffusion policy trager dan ACT?
Ja. Ons ACT-model had ongeveer 17 ms per voorspelling nodig, en het diffusion-model draaien we 50 keer per pick, elk met 16 verfijningsstappen. Met technisch werk brachten we het puntenwolkmodel van 228 naar 130 ms op één grafische kaart. Het halveren van de stappen scheelde maar 4 tot 5 ms en gaf meer mispicks op één robot, dus gingen we terug naar 16.
Blijft het model leren na de installatie?
Mislukte picks die ons team corrigeert en grote sets geslaagde productiepicks gaan terug in de training. Een masterscriptie bij TOS Robotics liet leren door uitproberen zien op een echte FANUC-robot, in één labrun van zeven dagen met een schuimbal, bovenop ACT. Na de ingebruikname blijft ons model leren met reinforcement learning.
Lees verder
- Reinforcement learning op een echte FANUC-robot, zonder simulatorIn zeven dagen op een echte FANUC-arm verhoogde een residuele RL-laag het succes op een labtaak van 51,1% naar stabiel 58 tot 60%.
- Hoe laat je ACT een robotarm vloeiend bewegen?ACT deed op onze robot gemiddeld 17,1 ms over een voorspelling en in het slechtste geval 97,9 ms. De overgang is afgestemd op dat trage geval.