Hoe Kan Robotperceptie en Leren de Zelfstandigheid van Robots Verbeteren?

In de afgelopen jaren heeft de vooruitgang in robottechnologie de grenzen van wat mogelijk is in autonome systemen aanzienlijk verschoven. De integratie van robotperceptie en leren heeft geleid tot de ontwikkeling van robots die in staat zijn om effectief te navigeren, leren van hun omgeving en interactie met mensen op een intelligente manier. Het onderzoek in dit domein richt zich vooral op robots die zich moeten aanpassen aan ongestructureerde omgevingen en die in staat moeten zijn om over langere perioden zelfstandig te functioneren. Deze ontwikkeling wordt ondersteund door geavanceerde technologieën zoals 3D lidar, waarmee robots hun omgeving kunnen waarnemen en begrijpen in real-time.

Een belangrijke uitdaging in het ontwikkelen van dergelijke robots is de perceptie van de omgeving. Traditionele robottechnologie was vaak gebaseerd op vooraf geprogrammeerde instructies en gecontroleerde omgevingen. Echter, de vraag naar robots die zich kunnen aanpassen aan veranderende omstandigheden en zelfstandig kunnen leren van hun ervaringen, heeft geleid tot de verschuiving naar een model van embodied intelligence. Dit model benadrukt de rol van fysieke belichaming, waarin de interactie van de robot met zijn omgeving van cruciaal belang is voor het ontwikkelen van zijn cognitieve vermogens.

De implementatie van ROL heeft geleid tot nieuwe mogelijkheden voor robots die niet alleen kunnen reageren op hun omgeving, maar ook kunnen anticiperen op toekomstige gebeurtenissen. Het vermogen van een robot om zichzelf te verbeteren door ervaring is essentieel voor het creëren van werkelijk autonome systemen. Dit vereist echter de ontwikkeling van robuuste algoritmen en technieken voor het verwerken van gegevens, zoals die van 3D lidar. De precisie en snelheid van deze technologie zijn van cruciaal belang om robots in staat te stellen complexe taken uit te voeren in dynamische en onvoorspelbare omgevingen.

Een ander belangrijk aspect van robotperceptie en leren is de integratie van mensgerichte navigatie. Sociale interacties zijn een essentieel onderdeel van de toekomst van robotica, vooral voor robots die in de nabijheid van mensen werken. Dit vraagt om robots die niet alleen effectief kunnen navigeren, maar ook sociaal bewust zijn en in staat zijn om op een respectvolle manier met mensen om te gaan. De uitdaging ligt in het ontwikkelen van systemen die niet alleen objecten kunnen detecteren, maar ook in staat zijn om de intenties van mensen te begrijpen en hun acties dienovereenkomstig aan te passen.

De ontwikkeling van robots die in staat zijn om over lange periodes zelfstandig te functioneren, vereist een verfijnd begrip van zowel perceptie als leren. In tegenstelling tot eerdere benaderingen die vertrouwen op statische modellen, moeten robots in staat zijn om te leren van hun ervaringen en zich aan te passen aan nieuwe situaties zonder dat er voortdurend menselijke tussenkomst nodig is. Dit proces van leren en aanpassing omvat niet alleen het verbeteren van de perceptie van de robot, maar ook het ontwikkelen van mechanismen om te voorkomen dat de robot 'catastrofale vergeten' ervaart. Dit fenomeen, waarbij robots belangrijke informatie verliezen tijdens het leerproces, is een belangrijke uitdaging die moet worden overwonnen om de betrouwbaarheid en effectiviteit van autonome systemen te waarborgen.

De toekomst van robotperceptie en leren ligt in de integratie van verschillende benaderingen van machine learning, inclusief reinforcement learning en online learning. Door deze technieken te combineren, kunnen robots zich niet alleen aanpassen aan hun omgeving, maar ook leren van hun interacties en verbeteren op basis van feedback. Dit opent de deur naar robots die niet alleen flexibel zijn in hun gedrag, maar ook in hun vermogen om met verschillende situaties om te gaan.

Bij de ontwikkeling van dergelijke geavanceerde robots is het belangrijk om ook de ethische implicaties in overweging te nemen. De toenemende mate van autonomie die robots verwerven, roept vragen op over hun privacy, veiligheid en de rol die ze spelen in de samenleving. De integratie van sociale bewustzijnsmechanismen in robots kan helpen bij het waarborgen van respectvolle interacties met mensen, maar het roept ook vragen op over de verantwoordelijkheden die ontwerpers en ontwikkelaars hebben ten opzichte van de samenleving.

In deze context moet verder onderzoek zich richten op het combineren van de nieuwste technologieën, zoals online leren en reinforcement learning, met praktische toepassingen in robotperceptie. Ook moeten er robuuste benchmarks en open datasets worden ontwikkeld die de voortgang van onderzoek in dit veld kunnen versnellen. De toekomst van robotperceptie en leren is veelbelovend, maar er blijven aanzienlijke uitdagingen om te overwinnen, vooral met betrekking tot de integratie van ethische overwegingen en de betrouwbaarheid van de systemen die worden ontwikkeld.

Hoe kan een robuuste benchmarkingsetup bijdragen aan de evaluatie van robotexploratie?

Benchmarking vereist de ontwikkeling van een platform voor experimenten, wat gerealiseerd kan worden door het gebruik van een fysiek robotplatform, een simulator, een dataset, of een combinatie van deze elementen. Het doel is om een systeem te creëren waarin alle variabelen gecontroleerd kunnen worden, en de resultaten betrouwbaar kunnen worden gemeten en vergeleken. Een voorbeeld van zo’n systeem wordt gepresenteerd in de context van multi-robot exploratie, waarbij meerdere robots samenwerken om een onbekend gebied in kaart te brengen. Het experiment is ontworpen om te evalueren hoe verschillende algoritmes presteren in termen van snelheid en efficiëntie.

De benchmarkingmethodologie maakt onderscheid tussen "reproduceerbaarheid" en "repliceerbaarheid". Reproduceerbaarheid betekent dat experimenten consistent kunnen worden herhaald, zelfs in een andere omgeving of met verschillende onderzoekers, en toch dezelfde resultaten opleveren. Repliceerbaarheid is een stap verder: hier gaat het erom dat de experimenten identieke resultaten opleveren, zelfs als ze precies worden herhaald. Repliceerbaarheid is vaak uitdagender dan reproduceerbaarheid, omdat het vereist dat alle aspecten van de experimenten, van de hardware tot de software, identiek zijn.

Daarnaast biedt het gebruik van datasets, zoals de EU long-term dataset, aanvullende voordelen voor het testen van robotperceptie- en leeralgoritmen. Dergelijke datasets worden verzameld door robotplatforms uitgerust met geavanceerde sensoren zoals lidars, camera’s, en andere meetinstrumenten. De variëteit en redundanties in de sensoren zorgen ervoor dat robots een zo volledig mogelijk beeld kunnen vormen van hun omgeving, wat cruciaal is voor autonoom navigeren en leren. De opbouw van zo’n dataset vereist zowel een doordachte keuze van hardware als zorgvuldige softwarematige verwerking van de gegevens. De sensoren moeten niet alleen nauwkeurig zijn, maar ook zorgen voor redundantie om storingen in één sensor op te vangen met andere sensoren.

Wanneer we naar de hardware van bijvoorbeeld de UTBM RoboCar kijken, zien we hoe belangrijke ontwerpoverwegingen tot de keuze voor verschillende sensorconfiguraties leiden. Het gebruik van stereo-camera’s en 3D lidars zorgt ervoor dat de robot een uitgebreide perceptie heeft van zijn omgeving, wat essentieel is voor de robuustheid van autonome voertuigen. Hierbij speelt het belang van het vermijden van sensorinterferentie een grote rol, bijvoorbeeld door de phase-locking technologie van lidars te gebruiken om interferentie tussen verschillende lasersignalen te minimaliseren.

Een cruciaal element bij het opzetten van een benchmarkingsysteem is de integratie van hardware en software. Het gebruik van simulators zoals MORSE in combinatie met ROS biedt een gecontroleerde, herhaalbare omgeving die tegelijkertijd de complexiteit van de realiteit nabootst. Het is essentieel om ervoor te zorgen dat de software die op de robotcontrollers draait identiek is aan die in de simulatie, zodat de resultaten daadwerkelijk representatief zijn voor wat er in de echte wereld zou gebeuren.

Een bijkomend voordeel van het ontwikkelen van een robuust benchmarkplatform is de mogelijkheid om de resultaten van verschillende algoritmen en systemen op een consistente manier te vergelijken. Dit kan bijvoorbeeld in de vorm van nauwkeurigheid- versus recall-curves of vergelijkende ranglijsten van verschillende methoden. Het KITTI-benchmark biedt bijvoorbeeld een dergelijke opzet voor het vergelijken van de prestaties van verschillende robotalgoritmen.

Het belang van data-analyse bij deze benchmarks kan niet worden onderschat. Het proces van het analyseren van de verzamelde gegevens helpt niet alleen om trends en patronen te ontdekken, maar stelt onderzoekers ook in staat om de effectiviteit van verschillende systemen en algoritmen te beoordelen. Het visualiseren van de resultaten, bijvoorbeeld in de vorm van grafieken, maakt de interpretatie van complexe experimenten toegankelijker en inzichtelijker.

In deze context is het van belang om niet alleen te focussen op de technologieën en algoritmes zelf, maar ook op de methoden die worden gebruikt om de prestaties van deze systemen te evalueren. Het streven naar het ontwikkelen van een platform dat geen menselijke tussenkomst vereist voor het genereren van resultaten, biedt niet alleen efficiëntie, maar ook objectiviteit in de beoordelingsprocessen. Dit is een noodzakelijke stap voor het realiseren van robuuste en betrouwbare systemen in de robotica.

Hoe beïnvloedt de selectie van clusteringmethoden de prestaties van objectdetectie in 3D-puntwolkgegevens?

De run-clustering- en diepte-clusteringmethoden vertonen superieure prestaties op respectievelijk de EU Long-term- en KITTI-datasets, vanwege hun verhoogde robuustheid ten opzichte van ongelijkmatige en schuine wegoppervlakken. Om de prestaties van de geëvalueerde methoden verder te analyseren, werden aanvullende experimenten uitgevoerd om de invloed van de grondverwijdering te onderzoeken. Zoals eerder vermeld, wordt drempelgebaseerde grondverwijdering vaak toegepast om te voldoen aan de real-time beperkingen van robotsystemen, maar deze techniek gaat uit van een vlakke ondergrond. Daarom is het van belang om te onderzoeken of geavanceerdere technieken voor grondverwijdering de prestaties van gerelateerde clusteringmethoden kunnen verbeteren. Zoals blijkt uit de laatste drie rijen van Tabel 3.2, verbetert de toepassing van het ray ground-filter de clusteringprestaties van de oorspronkelijke drempelgebaseerde methoden op de EU Long-term- en KITTI-datasets, maar leidt dit tot een prestatieverlies op de L-CAS-dataset. Deze achteruitgang wordt toegeschreven aan het feit dat het filter per ongeluk delen van de voeten van voetgangers verwijdert, waardoor de geclusterde bounding boxen in de meeste gevallen kleiner zijn dan de grondwaarheid.

Bij objectclassificatie in puntwolken gaat het om het toewijzen van semantische labels aan individuele punten of groepen van punten. Deze sectie richt zich op handgemaakte kenmerken en traditionele machine learning-modellen. Tabel 3.3 somt de vaak gebruikte handgemaakte kenmerken voor puntwolken op. Onder hen werden {f1, ..., f7} geïntroduceerd door Navarro-Serment et al. [35], terwijl {f8, f9} werden voorgesteld door Kidono et al. [20]. Vanwege de "snel leren en direct inzetten"-vereiste van Robot Online Learning (ROL) [60], is een balans tussen kenmerkvolledigheid en rekenkundige efficiëntie noodzakelijk. Specifiek, op basis van analyses in [20] en [57], wordt de kenmerkenset {f1, ..., f4, f8, f9} gebruikt voor voetganger-, fietser- en autodetectie in mobiele robotica [5, 6, 59, 63–65]. Het kenmerk f10, de "slice-afstand", werd voorgesteld door Yan et al. [57] en is aangetoond de detectieprecisie van voetgangers te verbeteren. Om dit kenmerk te begrijpen, moet eerst het "slice"-kenmerk f8 worden uitgelegd. Dit kenmerk verdeelt de 3D-punten binnen een cluster in 10 gelijke hoogte-slices en berekent de lengte en breedte van elke slice.

Bij voetgangerclassificatie in 3D-puntwolken is het probleem doorgaans niet-lineair, omdat 3D-puntwolkgegevens van nature niet-lineair zijn en de scheidingslijn tussen voetgangers- en niet-voetgangerspunten waarschijnlijk geen eenvoudige hypervlak zal zijn. Veelgebruikte niet-lineaire classificatiemodellen zijn Support Vector Machine (SVM), Random Forest (RF) en Deep Neural Networks (DNN). SVM heeft een sterke wiskundige basis en presteert goed met beperkte gegevens, wat het geschikt maakt voor ROL, zoals verder besproken in hoofdstuk 4. RF kan voldoen aan de ROL-eisen voor snellere modeltraining en online aanpassing in langdurige, cross-omgeving implementaties. Terwijl DNN een veelbelovend model is, zijn de huidige rekenkundige vereisten en de uitdagingen voor het bijwerken van het model in real-time een belemmering voor het gebruik ervan in deze context.

Hoe kan de navigatie van sociale robots worden beoordeeld?

De effectiviteit van robotnavigatie wordt doorgaans gemeten aan de hand van technische criteria, zoals nauwkeurigheid van objectdetectie en de snelheid waarmee een robot een taak kan uitvoeren. Echter, als robots steeds vaker in menselijke omgevingen opereren, wordt het noodzakelijk om een breder scala aan factoren in overweging te nemen. Een belangrijk aspect dat vaak wordt over het hoofd gezien, is de sociale aanvaardbaarheid van robotnavigatie in de nabijheid van mensen. Deze aanvaardbaarheid kan zowel vanuit het perspectief van de robot als het perspectief van de mens worden geëvalueerd.

Robot-Centric Metrics (RCM) en hun beperkingen

Hoewel deze metrics waardevolle informatie geven over de prestaties van robots, weerspiegelen ze niet volledig de interactie tussen mens en robot, noch hoe de robot zich gedraagt in een sociaal verantwoorde context. Ze richten zich uitsluitend op de robot en negeren de ervaring van de menselijke gebruikers die de robot begeleiden. Hierdoor is er een groeiende belangstelling voor het integreren van Human-Centric Metrics (HCM), die de menselijke ervaring bij de interactie met robots in overweging nemen.

Human-Centric Metrics (HCM) en Sociale Aanvaarding

In tegenstelling tot RCM's, richten Human-Centric Metrics zich op de subjectieve ervaring van mensen. Dit kan bijvoorbeeld worden gemeten met behulp van vragenlijsten zoals de Robotic Social Attributes Scale (RoSAS), die verschillende psychologische factoren meet die belangrijk zijn voor het beoordelen van de sociale acceptatie van robots. RoSAS classificeert deze factoren in drie hoofdcategorieën: warmte, competentie en ongemak. Deze metrics helpen te begrijpen hoe mensen zich voelen bij de nabijheid van een robot en of ze de robot als "sociaal acceptabel" ervaren.

Een aanvulling op de traditionele RCM is de menselijke extra tijd ratio, die de impact van robotnavigatie op de taakduur van een mens meet. Het doel hiervan is te kwantificeren hoeveel langer het voor een mens duurt om een taak te voltooien wanneer er een robot aanwezig is die een variërend niveau van sociaal gedrag vertoont. Dit helpt om een vollediger beeld te krijgen van hoe robotnavigatie de menselijke ervaring beïnvloedt, wat essentieel is voor het verbeteren van de acceptatie van robots in publieke en gedeelde ruimtes.

Betrouwbaarheid van Experimenten

Het ontwerp van wetenschappelijke experimenten is van cruciaal belang voor de nauwkeurigheid en betrouwbaarheid van de benchmarks die worden gebruikt om robotnavigatie te evalueren. Bij het ontwerpen van experimenten moet rekening worden gehouden met verschillende factoren, zoals de experimentele omgeving (bijv. simulatie of fysiek), de aard van het experiment (bijv. systeem-, module- of algoritmegerichte tests), en de verzameling van gegevens. Ook moet het aantal herhalingen van experimenten zorgvuldig worden geselecteerd om ervoor te zorgen dat de resultaten representatief zijn en statistisch betrouwbaar zijn. Het ontwerp van het experiment moet altijd de doelstellingen van de evaluatie weerspiegelen en ruimte bieden voor analyse van niet-deterministische factoren zoals sensorgeluiden of probabilistische algoritmes.