Hur Integrering av Sensorer Förbättrar Uppfattning och Lokalisation i Självkörande Bilar

I utvecklingen av självkörande fordon spelar sensorintegrering en avgörande roll för att förbättra fordonens förmåga att uppfatta och förstå sin omgivning. En av de mest effektiva teknologierna för att uppnå detta är användningen av olika typer av lidars, radar och kameror som kompletterar varandra och förbättrar säkerheten och precisionen i självständiga beslut.

För att ytterligare förbättra objektigenkänning och vägförståelse används även en SICK LMS100-10000 laseravståndsmätare på bilens sida. Denna 2D lidar, som ger ett synfält på 270 grader, är något nedåtlutad för att samla in data om vägbanans yta, inklusive vägmarkeringar och väggränser. Kombinationen av ibeo- och SICK-lidarer är rekommenderad för industrin, där den första används för att detektera dynamiska objekt medan den andra är mer fokuserad på statiska vägdata.

För lokalisationen använder systemet en Magellan ProFlex 500 GNSS-mottagare som är placerad inuti fordonet med två antenner på taket. Dessa antenner samlar in satellitsignaler och ger en mycket hög precision tack vare RTK (Real-Time Kinematic) som möjliggör positionering på centimeter-nivå istället för meter-nivå. En IMU (Inertial Measurement Unit) från Xsens, som också installeras inuti fordonet, mäter linjär acceleration, vinkelhastighet och absolut orientering, och används ofta tillsammans med GNSS för att öka noggrannheten i systemets positionering och rörelseförståelse.

Denna mångfacetterade sensoruppsättning är ansluten till en dedikerad kontrollenhet som samlar in och bearbetar data i realtid. Denna enhet interagerar med fordonets Controller Area Network (CAN) för att möjliggöra styrning, acceleration och bromsning. För beräkningsresurser ansluts kamerorna till en gaming laptop via IEEE 1394, som tillhandahåller de nödvändiga GPU-resurserna för att bearbeta visuella algoritmer. Alla sensorer är dessutom anslutna via ett trådbundet nätverk till en Dell Precision Tower 3620 arbetsstation, som fungerar som plattform för dataregistrering och lagring.

För att säkerställa att sensorerna arbetar korrekt tillsammans krävs noggrann kalibrering. Kamerorna och lidarna kalibrerades för att säkerställa att deras interna parametrar var korrekt justerade, medan den extrinsiska kalibreringen mellan de olika sensorerna utfördes genom att minimera den voxel-vise .L2 avståndet mellan punktskyar från olika sensorer. Detta görs genom att köra fordonet i en strukturerad miljö med flera landmärken för att synkronisera data och säkerställa att informationen från olika sensorer är korrekt samordnad.

I ett system som det ovan blir data från alla sensorer synkroniserad genom programvara som bygger på ROS (Robot Operating System). En noggrant designad programvaruarkitektur gör att alla sensorer kan kommunicera och publicera data på ett sätt som gör det möjligt för systemet att förstå och hantera omvärlden i realtid. Det är denna integration av flera sensorer som skapar en pålitlig och exakt uppfattning av omvärlden, vilket är fundamentalt för att uppnå hög säkerhet och tillförlitlighet i självkörande system.

Det är viktigt att förstå att även om dessa avancerade sensorintegrationer erbjuder en imponerande teknologisk lösning, finns det fortfarande flera faktorer att ta hänsyn till i en verklig tillämpning. För det första måste det finnas en stark koppling mellan den sensoriska informationen och den fysiska kontrollen av fordonet, vilket innebär att algoritmer för vägplanering, objektspårning och beslutsfattande måste vara robusta och noggrant optimerade för att kunna hantera komplexa och dynamiska vägscenarier. Därtill måste systemen också kunna hantera olika väderförhållanden, och det är avgörande att ta hänsyn till hur lidar och radar fungerar i t.ex. dimma, regn eller snö.

Det är också viktigt att tänka på att den data som samlas in genom dessa system inte bara är tekniskt utmanande att bearbeta utan även måste vara noggrant märkt för att kunna användas i maskininlärning och andra algoritmer som kräver stora mängder annoterad data. Exempelvis, datasets som KITTI har visat sig vara en bra resurs för att träna och testa algoritmer för objektigenkänning och vägdetektering. Men även om KITTI-datasetet är omfattande, finns det några brister, som att de inte fullt ut speglar de komplexa trafik- och vägsituationer som förekommer i verkligheten, särskilt under dåliga väderförhållanden.

Endtext

Hur kan online-lärande förbättra robotarbetets långsiktiga autonomi?

En viktig utmaning i robotens online-lärande (ROL) är att kunna extrahera användbara prover från sensorinformation i realtid. Robotar förlitar sig på olika sensorer, såsom kameror och 3D-lidar, för att uppfatta sin interna status och omgivande miljö. Dessa mätningar representeras i olika datatyper, vilket gör att roboten måste analysera dessa för att extrahera relevant information. Till exempel, när det gäller objektigenkänning, måste roboten bestämma objektets position och kategori i varje observation och sedan extrahera de data som representerar objektet för vidare lärande. Att automatisera denna process är särskilt utmanande i dynamiska och komplexa miljöer, som universitetscaféer eller urbana vägar, där omständigheterna snabbt kan förändras.

Den största skillnaden mellan offline-lärande, inkrementellt lärande och online-lärande är relaterad till hur dessa metoder hanterar data och lärandeprocessen. Offline-lärande innebär att roboten tränas på en förutbestämd dataset och att modellen sedan förblir oförändrad under robotens drift. Inkrementellt lärande, å andra sidan, kan implementeras både online och offline och innebär att modellen kontinuerligt uppdateras med ny data. Detta lärandeprioriterar kunskapsbevarande och försöker förhindra katastrofalt glömska. Online-lärande, som är den mest utmanande formen av robotlärande, fokuserar på att autonomt och i realtid uppdatera modellen utan mänsklig inblandning.

För att hantera dessa problem har forskare föreslagit flera tekniker. En metod involverar användningen av ytmatching och filteralgoritmer för att identifiera objekt som inte har setts tidigare. En annan metod innebär användning av semi-supervised learning, där en liten mängd manuellt märkta objekt används för att träna en klassificerare. Forskning har också föreslagit att man kan använda minnesbuffertar eller lagra gradientdata för att bevara tidigare inlärd information och på så sätt undvika katastrofalt glömska.

I detta sammanhang har olika forskargrupper arbetat med att utveckla ramverk för online-lärande, där man kombinerar traditionella metoder med avancerade djupa lärande-algoritmer. Ett exempel på detta är Yan et al. (1), som introducerade ett ROL-ramverk för att klassificera människor i 3D-lidar-skanningar utan att behöva experthjälp för dataannotering. Denna teknik utvecklades vidare av Yang et al. (3), som använde samma ramverk för autonoma fordon för att klassificera vägtrafikanter, inklusive bilar, cyklister och fotgängare.

En ytterligare förbättring i robotarnas långsiktiga autonomi kan uppnås genom att integrera djupa lärande-modeller i ROL-ramverken. Detta möjliggör en mer robust och generaliserbar robotnavigation, särskilt i sociala och varierande miljöer. Men en stor utmaning återstår i hur man effektivt uppdaterar beräkningsintensiva djupa neurala nätverksmodeller på robotar med begränsade resurser, samtidigt som man säkerställer realtidsprestanda.

Det är avgörande för läsaren att förstå att online-lärande inte bara handlar om att automatiskt uppdatera robotens kunskap, utan också om att skapa system som kan hantera osäkerheter och nya, oväntade situationer på ett robust sätt. Det är en ständigt pågående balansgång mellan att bevara tidigare lärdomar och anpassa sig till nya miljöer och uppgifter. Därför är det inte bara frågan om att övervinna tekniska hinder, utan också att utveckla robotar som kan fungera effektivt och pålitligt över tid, i en värld av ständig förändring.

Varför behövs inkorporerad intelligens för robotar?

För att ett system ska kunna fatta beslut baserat på information som förändras i realtid måste det förstå kontextuella detaljer – en uppgift som är mycket svårare utan inkorporerad intelligens. Världen förändras hela tiden: långsamt, som årstiderna, och snabbt, som en fotgängare som plötsligt korsar en väg. Utan den förmågan att anpassa sig till dessa förändringar i den fysiska världen skulle robotar bli ineffektiva och farliga i verkliga miljöer.

Forskningen i denna bok rör sig på två huvudsakliga områden. För det första handlar det om att ge robotar förmågan att uppfatta sin omgivning, särskilt människor, med hjälp av inkorporerade sensoriska system. Detta innebär att roboten inte bara registrerar objekt som rör sig utan också kan analysera dessa objekt i en tredimensionell kontext. Ett exempel på detta är användningen av 3D-lidar, en sensor som ger detaljerad information om avstånd i flera plan. Denna typ av sensor tillåter roboten att skapa en tredimensionell bild av omvärlden och fatta beslut baserade på den informationen.

För att exakt kunna identifiera och följa människor använder robotar statistiska metoder som stöder identifiering och spårning i realtid. Genom att segmentera den data som samlas in via lidar och använda metoder som Support Vector Machine (SVM) kan roboten klassificera och identifiera vilka punkter som representerar människor och vilka som inte gör det. Dessa tekniker ger roboten en förmåga att följa rörelser och interagera på ett säkrare sätt, vilket är grundläggande för social och säker navigation.

För det andra fokuserar denna bok på hur robotar kan lära sig autonomt, med hjälp av data som samlas in från sina sensorer. Detta kräver att robotar inte bara reagerar på omvärlden, utan att de också kan integrera ny information i sin beslutsprocess och justera sitt beteende baserat på förändrade omständigheter. Online Learning (OL) är en central metod som gör detta möjligt, där roboten kontinuerligt lär sig från de data som den samlar in i realtid. Skillnaden här jämfört med traditionell maskininlärning är att data som matas in i systemet ofta inte är förutbestämd eller annoterad, vilket innebär att roboten måste vara flexibel och kunna anpassa sig till nya situationer.

Robotens lärande i detta sammanhang är inte begränsat till en specifik uppgift utan sträcker sig till att förstå och förutse framtida händelser. Detta kan inkludera att förutspå när och var människor troligen kommer att befinna sig eller deras rörelsemönster. Genom att använda metoder som Long Short-Term Memory (LSTM) kan roboten bygga upp spatiotemporala modeller för att förutse framtida händelser baserat på långsiktiga observationer.

För att säkerställa att dessa metoder är effektiva och kan jämföras på ett meningsfullt sätt, diskuteras även test- och utvärderingsmetoder. Detta är avgörande för att kunna genomföra experiment och utveckla nya metoder effektivt, vilket gör det möjligt att kontinuerligt förbättra robotens förmåga till autonoma beslut och säker navigation. Att testa och jämföra olika metoder är en integrerad del av utvecklingen, där agila utvecklingsmetoder används för att främja snabb iterering och innovation.

Det är också viktigt att förstå att detta arbete handlar om att skapa en långsiktig autonomi för robotar. Målet är inte bara att roboten ska utföra en viss uppgift väl, utan att den ska kunna fortsätta utvecklas och anpassa sig på egen hand, även i en värld där förändringar sker snabbt och oväntat. Det handlar om att ge roboten en form av "förmåga att tänka på sig själv", där den lär sig från sin omgivning och sina erfarenheter för att på bästa sätt anpassa sig till framtida utmaningar.