Hva er de viktigste aspektene ved 3D Lidar-teknologi i autonome systemer?

Lidar, som står for Light Detection and Ranging, er en aktiv sensor som benytter laserstråler for å måle avstander og skape et tredimensjonalt kart over omgivelsene. Dette gjør den til en viktig teknologi i mange autonome systemer, spesielt innen robotikk og selvkjørende biler. Den største fordelen med lidar er evnen til å utføre presise målinger på lange avstander, ofte flere hundre meter, og samtidig gi en full 360-graders horisontal dekning. Denne teknologien gir robuste målinger selv under varierende lysforhold, noe som er essensielt for langvarig autonom drift. Lidarens evne til å operere uavhengig av dagslys er en stor fordel i forhold til kameraer og andre optiske sensorer, som er mer sårbare for lysforhold.

Imidlertid er lidar ikke uten sine begrensninger. Dataene som samles inn, blir ofte representert som sparsomme punkt skyer, hvor tettheten på punktene reduseres med avstanden. Denne sparsommeligheten kan gjøre det vanskelig å identifisere objekter nøyaktig, spesielt i store avstander. Videre mangler lidar sensorer evnen til å fange opp detaljer som farge og tekstur, noe som kan være viktig for nøyaktig objektgjenkjenning. Dette kan imidlertid også ses som en fordel når det gjelder personvern, da dataene fra lidar ikke avslører detaljer om objektet som kan knyttes til identifikasjon av mennesker.

En annen stor utfordring for lidar-teknologi er dens sårbarhet for dårlige værforhold, spesielt under regn eller snø. Atmosfæriske vannpartikler, som regndråper eller snøfnugg, kan absorbere og spre laserlyset, noe som svekker signalet som returneres til sensoren. Dette fører til redusert rekkevidde og nøyaktighet i det innsamlede datamaterialet. Den reduserte refleksiviteten av objekter under slike forhold gjør det enda vanskeligere for lidar å oppdage objekter på avstand.

Lidarens evne til å generere 3D punkt skyer har gjort den til en hjørnestein i mange industrielle applikasjoner. Innen autonom kjøring brukes lidar i dag på et bredt spekter av kjøretøy for å oppdage hindringer, som mennesker, veiskilt og andre kjøretøy, samt for å lage detaljerte kart over veiene. Mange autonome kjøretøy benytter flere lidar-sensorer for å utvide synsfeltet og redusere blinde soner, men det er også viktig å merke seg at bruk av kun lidar i autonome systemer kan ha sine egne begrensninger. Derfor er det vanlig å bruke flere sensorer i et multimodalt system, for eksempel sammen med kameraer og radarer, for å gi et mer komplett bilde av omgivelsene.

I tillegg til autonom kjøring har lidar også funnet anvendelse i robotikk, spesielt i service- og industrisektoren. Eksempler på dette er roboter som brukes til rengjøring, lagerlogistikk, inspeksjon og søk- og redningsoperasjoner. I slike applikasjoner brukes lidar for å kartlegge og forstå omgivelsene, oppdage og spore objekter, og planlegge bevegelser i dynamiske miljøer. Et konkret eksempel er roboten utviklet for profesjonell rengjøring i offentlige rom, som bruker lidar for å oppdage mennesker og optimere rengjøringsoppgavene.

I tillegg til disse praktiske bruksområdene, har lidar også blitt benyttet for folkehelseformål, som under COVID-19-pandemien. I slike situasjoner ble lidar brukt til å overvåke sosial distansering og til å detektere bruk av ansiktsmasker, samtidig som personvernet ble ivaretatt. Denne teknologien har også blitt integrert med andre sensorer, som termiske kameraer, for å oppdage og spore smittede personer og deres kontakter, og dermed bidra til tidlig varsling og smittevern.

Lidarens allsidighet og anvendbarhet strekker seg over et bredt spekter av applikasjoner og bransjer. Imidlertid er det viktig å forstå at lidar, som enhver annen teknologi, ikke er perfekt og har sine egne begrensninger. For å maksimere nytten av lidar, er det nødvendig å kombinere den med andre sensorer og bruke den i et multimodalt system, der styrkene til hver sensor kompenserer for svakhetene til de andre. Dette gjelder ikke bare for autonome kjøretøy, men også i andre industrielle og kommersielle applikasjoner.

Endtext

Hvordan man kan segmentere og klassifisere punktskyer for objektgjenkjenning i mobile roboter

Objektgjenkjenning i punktskyer har vært et sentralt tema i robotikk, spesielt i sammenheng med mobile roboter som navigerer i dynamiske miljøer. Denne prosessen innebærer å dele opp punktskyen i ikke-overlappende delsett, der hvert delsett representerer et distinkt objekt. Hver av disse delene blir deretter tildelt en kategori merket etter en spesifikk modell. Dette kan være en topp-ned tilnærming, slik som maskinlæringsbaserte metoder, eller en bunn-opp tilnærming som er basert på objekters bevegelse.

En moderne tilnærming, nært knyttet til dyp læring, kalles end-to-end metoder, og lar modeller gjenkjenne objekter direkte fra punktskyer. Selv om slike metoder har vist seg å bryte gjennom ytelsesflaskene i visse deteksjonsoppgaver, er det nåværende fraværet av tolkbarhet og evnen til å håndtere domeneendringer fortsatt en utfordring. Dette gjør at pipeline-baserte metoder, som regelbasert klynging, fortsatt er uerstattelige i enkelte sammenhenger, som for eksempel innen mobil robotikk.

For øyeblikket krever implementeringen av end-to-end dyp læringsbaserte metoder på roboter fortsatt hensyn til databehandlingskapasiteten til kant-enheter. En effektiv måte å redusere beregningsbehovene på er ved å konvertere 3D punktskyer til 2D data. For eksempel konverterer PIXOR 3D punktskyer til et fugleperspektiv (BEV), som deretter brukes i objektgjenkjenning ved hjelp av strukturelt justerte RetinaNet. Et annet eksempel er Complex-YOLO, som benytter en lignende tilnærming med et fugleperspektiv, men legger til kanaler for høyde, intensitet og tetthet før det benytter YOLO for deteksjon.

En annen tilnærming er å lære en effektiv romlig geometrisk representasjon direkte fra 3D punktskyer, som for eksempel PointPillars. Denne metoden bruker PointNet for å lære representasjoner organisert i vertikale søyler (pillarer). PointPillars kan operere med hastigheter over 60 Hz, noe som gjør den til en av de mest brukte end-to-end deteksjonsmetodene i mobil robotikk og autonom kjøring.

Adaptive klynging er en metode for å segmentere punktskyen ved å først fjerne punktene som representerer bakken, ettersom disse ikke er relevante for objektgjenkjenning. Dette gjøres ved å bruke en terskelverdi, hvor alle punktene som er under en viss høyde blir fjernet. Deretter segmenteres de gjenværende punktene i ikke-overlappende klynger ved hjelp av en distansetröskel. Dette gir en effektiv måte å identifisere og segmentere objekter, men har visse begrensninger, spesielt i tilfeller med tynne eller ustrukturerte punktskyer. For slike tilfeller kan det være nødvendig med videre behandling.

Metoden er effektiv i tette og strukturerte punktskyer, men kan feile dersom distansetröskelen er satt for liten eller for stor. En liten terskel kan føre til at et objekt blir delt i flere klynger, mens en for stor terskel kan føre til at flere objekter blir samlet i én klynge. Dette krever derfor at metoden justeres i henhold til spesifikasjonene for hvert miljø og objekttype.

I praksis er det fortsatt behov for flere innovative løsninger som kan balansere nøyaktigheten, effektiviteten og tolkbarheten av deteksjonsmodellene. Spesielt i dynamiske og ustrukturerte miljøer, hvor objekter kan være delvis skjult eller bevegelsen deres kan være uforutsigbar, må teknikkene utvikles videre for å kunne håndtere slike utfordringer på en pålitelig måte.

Hvordan tilpasse punkt-sky clustering for 3D lidar: En adaptiv tilnærming

Et klassisk eksempel på dette er vist i figur 3.8, der en 16-lags lidar scanner en menneskekropp på forskjellige avstander. Denne lidaren har en horisontal oppløsning på 0,1° og en vertikal oppløsning på 2°. Som illustrert, blir vertikal avstand mellom punktene betydelig mer uttalt jo lengre objektet er fra sensoren. Derfor er det en naturlig løsning å tilpasse terskelen for clustering, .d∗, lineært i forhold til scan-avstanden, som beskrevet ved ligningen:

hvor r representerer scan-avstanden og .θ er den vertikale oppløsningen (for eksempel 2° for den nevnte 16-lags lidaren).

Et utfordrende aspekt ved implementeringen av denne metoden er å bestemme hvilke punkter i punkt-skyen som skal grupperes sammen under den samme .d∗-verdien. For å håndtere dette, kan man observere morfologien til bakkenivå-dataene fra 3D lidar, og inspirert av bølger på vannoverflaten, kan man benytte en sensor-sentrert metode for segmentering av punkt-skyen i nestede ringområder. I figur 3.9 vises hvordan forskjellige områder i punkt-skyen kan grupperes ved hjelp av ulike .d∗-verdier.

Denne metoden innebærer å bruke en rekke verdier for .d∗ i faste intervaller, .Δd, hvor .d∗ i+1 = .d∗ i + .Δd. For hver .d∗ i, beregnes maksimal avstand for gruppering .r i, og det tilsvarende området bestemmes som .R i = √r i. Bredden på et område med konstant .d∗ i blir dermed .l i = R i - R i−1. Alle punktene innenfor hvert ringområde grupperes med den samme terskelen .d∗ i. Denne tilnærmingen muliggjør effektiv clustering av punkt-skyer som genereres av lidar, der punktene er tettere på sensoren og mer spredt lenger unna.

hvor .w i, .d i, og .h i representerer bredde, dybde og høyde (i meter) for volumet som inneholder .C i. Ved å bruke en k-d trestruktur, kan denne adaptive clustering-metoden implementeres med en tidskompleksitet på O(log n).

For å evaluere forskjellige clustering-metoder og få innsikt i deres styrker og svakheter, kan man benytte LiDAR Point Cloud Clustering Benchmark Suite. Denne verktøykassen gjør det mulig å evaluere fem åpne kildekode-metoder på tre reproduserte datasettene som fungerer som fellesskapsbaser. Disse datasettene, som inkluderer L-CAS, EU long-term og KITTI, er samlet i utendørs miljøer med forskjellige lidar-sensorer. Nøyaktig ytelsesevaluering er avhengig av høy kvalitet på referanseannotasjonene, som kan bli forbedret gjennom spesifikke teknikker som for eksempel bruk av en ray-ground filter for å fjerne bakkenivåpunkter i punkt-skyene.

Det er også verdt å merke seg at nøyaktig annotering og re-annotering av datasettene er avgjørende for å sikre pålitelig ytelsesevaluering. For eksempel ble L-CAS-datasettet forbedret ved at eksisterende annotasjoner ble nøyaktigere, og KITTI-datasettet fikk nye annotasjoner for å kompensere for feil i de opprinnelige annotasjonene basert på RGB-bildeprojeksjoner. Dette viser viktigheten av at datasettene er grundig annotert for å sikre at resultatene fra forskjellige metoder er sammenlignbare og nøyaktige.

Den adaptive clustering-metoden representerer et viktig skritt fremover i arbeidet med punkt-sky behandling i robotoppfatning. Ved å kombinere forståelsen av sensorens begrensninger med effektive segmenteringsstrategier kan man oppnå mer pålitelige og effektive resultater i applikasjoner som objektdeteksjon, sporing og robotnavigasjon.

Hvordan forstå og implementere fysisk intelligens i roboter: Perspektiver og anvendelser

Embodied intelligence kan spores tilbake til de tidlige konseptene i kunstig intelligens, slik Alan Turing beskrev det, og den skiller seg fundamentalt fra de mer abstrakte formene for AI som er designet for ikke-fysiske oppgaver. I sin essens krever embodied intelligence at systemet, i dette tilfellet en robot, både oppfatter omgivelsene og handler i dem, basert på sensoriske data og fysisk interaksjon med omgivelsene. Dette er et viktig skille fra «disembodied intelligence», hvor en agent kan analysere data eller spille spill uten å være fysisk til stede i en verden.

For roboter som skal fungere i den virkelige verden, som for eksempel i industrielle applikasjoner eller i samhandling med mennesker, er embodied intelligence uunnværlig. Robotens evne til å tilpasse seg dynamiske endringer i miljøet, forstå objekter og deres plassering i rommet, og handle deretter, er sentrale komponenter i hva som gjør en robot intelligent i praksis. Denne typen intelligens krever en kombinasjon av flere teknologiske innovasjoner, blant annet datainnsamling via sensoriske systemer som lidar eller kameraer, samt avanserte algoritmer for databehandling og maskinlæring.

Et konkret eksempel på embodied intelligence i praksis kan ses i roboter som er utviklet for å navigere autonomt i uforutsigbare miljøer, som for eksempel autonome kjøretøy eller industrimonteringsroboter. Disse robotene er i stand til å lære fra deres interaksjoner med miljøet, analysere sensoriske data i sanntid, og deretter ta beslutninger om hvilke handlinger som er nødvendige for å utføre en oppgave. I motsetning til mer tradisjonelle systemer, hvor programmene kan kjøre isolert fra virkelige omgivelser, krever embodied intelligence at roboten kontinuerlig tilpasser seg endringer i sine fysiske omgivelser og lærer fra disse erfaringene.

Fysisk intelligens er også et fundamentalt aspekt i multi-robot-systemer (MRS), hvor flere autonome enheter samarbeider i en delt fysisk verden. Dette står i kontrast til multi-agent-systemer (MAS), som ofte refererer til stasjonære systemer eller programvarebaserte agenter som samarbeider i et virtuelt miljø. Forskjellen mellom MRS og MAS belyser det praktiske skillet mellom robotenes evne til å interagere fysisk med verden og mer abstrakte systemer som er begrenset til digitale operasjoner.

I utviklingen av robotteknologi er det også viktig å forstå utfordringene knyttet til fysisk intelligens. Et viktig aspekt er hvordan en robot kan forstå og bruke sanseinntrykk for å navigere i et komplekst miljø. Det er ikke nok for en robot å bare gjenkjenne objekter – den må også kunne handle på informasjonen, for eksempel ved å unngå hindringer, manipulere objekter, eller tilpasse seg endringer i omgivelsene uten menneskelig inngrep.

For videre utvikling av roboter med embodied intelligence er det kritisk å implementere løsninger for dynamisk læring, som gjør at roboten kontinuerlig kan lære av sine erfaringer. Dette innebærer også å utvikle algoritmer som tillater roboter å håndtere usikkerhet og risiko i sine beslutningsprosesser. Et aspekt ved dette er hvordan roboten tilpasser seg ved å justere sine handlinger etter hver interaksjon med miljøet, og hvordan den lagrer og anvender denne erfaringen i fremtidige situasjoner.

I tillegg til de tekniske og operasjonelle aspektene ved embodied intelligence, er det også etiske og samfunnsmessige implikasjoner som bør vurderes. Når roboter blir mer tilstedeværende i menneskelige arbeidsmiljøer eller til og med i hverdagslivet, reiser det spørsmål om sikkerhet, personvern og hvordan robotene påvirker arbeidsmarkedet. Derfor er det viktig å utvikle roboter med fysisk intelligens på en måte som ivaretar disse hensynene, og som samtidig fremmer et bærekraftig forhold mellom mennesker og maskiner.

Å integrere embodied intelligence i roboter er et komplekst, men nødvendig skritt i utviklingen av teknologiske løsninger som kan forbedre våre liv på mange nivåer, fra helsevesen til industriell produksjon. Samtidig innebærer det at vi må forstå hvordan fysiske og virtuelle systemer kan arbeide sammen for å skape helhetlige løsninger for fremtidens utfordringer. Dette krever både teknologiske fremskritt og en dypere forståelse av hvordan intelligens fungerer i et fysisk og dynamisk miljø.

Hvordan evaluere roboters sosiale navigasjonsevne i nærvær av mennesker?

I evalueringen av roboters evne til å navigere i nærvær av mennesker er det viktig å vurdere både roboter og menneskers opplevelse. Denne helhetlige tilnærmingen gir en mer objektiv vurdering av robotens prestasjoner og tillater en dypere forståelse av hvordan robotene påvirker menneskelige omgivelser. Det finnes etablerte metoder som gjør det mulig å måle robotens ytelse gjennom spesifikke metrikker. Likevel har nyere forskning begynt å vurdere sammenhenger mellom robot-sentrerte og menneskesentrerte målinger for å skape en mer presis evaluering, spesielt i situasjoner hvor menneskelige tilbakemeldinger er vanskelige å samle inn.

Samtidig er det en økende interesse for å vurdere robotens atferd i et sosialt miljø. Å evaluere robotens navigasjonsegenskaper gjennom Robot-Centric Metrics (RCM) gir innsikt i hvor effektiv roboten er når det gjelder tid og avstand brukt i et menneskefelles miljø. For eksempel måles ekstra tid eller ekstra avstand som roboten trenger for å fullføre en oppgave i nærvær av mennesker, og beregnes som forholdet mellom tiden eller avstanden roboten bruker i fravær av mennesker og i tilstedeværelse av mennesker. Dette gir en indikasjon på hvordan roboten reagerer på menneskelige bevegelser og tilstedeværelse.

En annen viktig metrikk er Success Ratio, som gir et mål på robotens evne til å fullføre en oppgave uten å kollidere med mennesker. Denne metrikken gir verdifull innsikt i hvordan roboten tilpasser sin navigasjon for å unngå uønskede interaksjoner.

Videre er det viktig å vurdere robotens evne til å redusere hastigheten når den nærmer seg mennesker. Metrikken Deceleration Ratio måler robotens evne til å bremse ned i nærheten av mennesker, noe som er essensielt for å sikre at roboten ikke utgjør en fare for menneskene rundt den. Det er imidlertid viktig å merke seg at ulike roboter kan ha forskjellige maksimale hastigheter, noe som kan gjøre sammenligninger mellom roboter eller metoder utfordrende. Derfor anbefales det at maksimal hastighet holdes konstant for en rettferdig evaluering.

Menneskecentrerte metrikker, som for eksempel Human Extra Time Ratio, gir et mål på hvordan robotens tilstedeværelse påvirker tiden det tar for mennesker å fullføre sine egne oppgaver. Denne metrikken gjør det mulig å kvantifisere hvordan robotens oppførsel påvirker den menneskelige brukeropplevelsen. Det er viktig at evalueringen ikke bare fokuserer på robotens prestasjon, men også på hvordan den samhandler med mennesker, da det er denne interaksjonen som vil være avgjørende for aksepten av roboten i samfunnet.

For å få et dypere innblikk i hvordan robotens atferd påvirker mennesker, kan spørreskjemaer som Robotic Social Attributes Scale (RoSAS) benyttes. Denne skalaen evaluerer robotens "sosiale egenskaper" gjennom tre hoveddimensjoner: varme, kompetanse og ubehag. Dette gir en psykologisk validert og standardisert måte å vurdere hvordan mennesker oppfatter robotens nærvær og handlinger.

Et grundig eksperimentelt design er essensielt for å få pålitelige resultater når man benytter seg av disse metrikene. Det er viktig å spesifisere eksperimentets rammer, inkludert hvilke parametere som skal testes, hvordan data skal samles inn og hvordan eksperimentene skal gjentas for å sikre pålitelighet og statistisk validitet. I tillegg må det defineres kriterier for når et eksperiment skal avsluttes, enten det er på grunn av fullført oppgave eller uventet atferd.