Hvordan multi-sensor fusjon kan forbedre aktivitetsgjenkjenning i virkelige omgivelser

Aktivitetsgjenkjenning (HAR) ved bruk av bærbare enheter har fått økt oppmerksomhet på grunn av potensialet til å spore menneskelige aktiviteter på en detaljert og kontinuerlig måte. For å simulere virkelige bruksområder, ble enhetene festet til kroppen ved hjelp av vanlige hverdagslige gjenstander som sportsarmbånd og lommer. Denne tilnærmingen sikret både komfort og realistisk bruk, etterlignende hvordan bærbare enheter faktisk blir brukt i daglige aktiviteter. Dataene ble samlet inn på ulike steder, inkludert urbane områder og naturlige omgivelser, for å fange et bredt spekter av bevegelsesmønstre og miljøpåvirkninger på sensor-dataene.

En innovativ del av studien vår er bruken av multi-sensor fusjon, der akselerometer- og gyroskopdata fra HAR ble kombinert i et føderert miljø. Denne tilnærmingen tillater en mer presis forståelse av bevegelse og aktivitet ved å kombinere flere sensorers informasjon. For å forberede dataene for analyse, ble en omfattende preprosessering og funksjonsutvinning utført. Dataene ble delt inn i vinduer på ett sekund som overlapper med halvparten av det foregående vinduet, for å sikre kontinuitet og korrekt fange overganger mellom aktiviteter.

Et viktig element i databehandlingen var anvendelsen av et lavpassfilter for å skille akselerasjonsdataene i komponenter relatert til tyngdekraften og kroppens bevegelser. Denne metoden ga oss muligheten til å bestemme enhetens orientering, noe som er avgjørende for nøyaktigheten i aktivitetens gjenkjennelse. Orienteringsdataene hjalp oss til å forstå konteksten bedre, for eksempel om en person står, sitter eller utfører en fysisk aktivitet som hopping.

Datasettet som ble brukt i studien, besto av både en kontrollert innendørs situasjon (UCI-datasettet) og et mer variert utendørs datasett (Real-World dataset). Den naturlige variasjonen i aktivitetene og den reelle skjevheten i klassene, som for eksempel at hopp bare utgjorde 2 % av dataene, gjorde det ideelt for å studere fødererte læringsteknikker (FL) for HAR. Denne skjevheten i datasettene belyser en av de største utfordringene innen aktivitetsgjenkjenning: nøyaktig gjenkjenning av sjeldne aktiviteter til tross for at de har mindre representasjon i dataene.

For å evaluere modellen ble flere ytelsesmålinger brukt. Vanligvis blir nøyaktighet (accuracy) brukt som en indikator på hvor mange aktiviteter som er riktig klassifisert, men dette kan være misledende i skjeve datasett, der modellen kan oppnå høy nøyaktighet bare ved å predikere majoritetsklassen. Derfor ble det lagt til flere mål som presisjon, tilbakekalling (recall) og F1-score. Presisjon gir en indikasjon på hvor mange av de positive klassifiseringene som faktisk var korrekte, mens tilbakekalling måler modellens evne til å identifisere alle relevante tilfeller. F1-scoren kombinerer presisjon og tilbakekalling for å gi en mer balansert vurdering, spesielt i tilfeller med store klasseskjevheter.

I tillegg ble energiutnyttelse inkludert som en viktig vurderingskriterium. Føderert læring (FL) involverer mange deltakere som trener modeller uten å dele data, og dette kan medføre betydelige belastninger på både beregningskraften og kommunikasjonen. Å vurdere energieffektiviteten i disse scenariene er avgjørende, spesielt når enhetene har begrensede ressurser. Den energieffektiviteten ble målt ved å vurdere både beregningsbehovet for lokal trening og mengden data som ble overført under hver kommunikasjonsrunde.

Evalueringen av modellen i både kontrollerte og virkelige miljøer, gjennom flere evalueringsstrategier og ytelsesmål, bidrar til en mer nyansert forståelse av dens robusthet og tilpasningsevne i praktiske scenarier. Denne grundige tilnærmingen hjelper oss å forstå hvordan flere sensorer kan utnyttes effektivt for å forbedre både nøyaktigheten og energieffektiviteten i HAR-applikasjoner, samtidig som vi adresserer utfordringene som følger med virkelige data, som skjevhet og variasjon i aktivitetene.

Hvordan fjerne helseutfordringer med fjernovervåkning av nyfødte?

Fremskritt innen informasjonsteknologi og kommunikasjon (IKT) har skapt nye muligheter for å overvåke pasienter på en mer effektiv og kostnadseffektiv måte. Et viktig aspekt ved dette er utviklingen av fjernovervåkning av pasienter (RPM), som har som mål å forbedre behandlingseffektiviteten ved å tillate overvåkning av pasienter på avstand med minimal innsats, tid og kostnad. En av de mest presserende applikasjonene for RPM er overvåkning av nyfødte, en gruppe pasienter som krever konstant oppfølging for å forhindre alvorlige helseproblemer, som for eksempel neonatal død. I denne sammenhengen har fjernovervåkningssystemer for nyfødte, kjent som Remote Infant Monitoring (RIM), fått økt oppmerksomhet de siste årene.

Fjernovervåkning av nyfødte har potensialet til å redusere dødeligheten blant spedbarn betydelig, spesielt i utviklingsland hvor helsevesenet ofte er overbelastet og ressursene er begrenset. Teknologien har utviklet seg til et punkt der det er mulig å overvåke vitale tegn som hjertefrekvens, oksygenmetning, respiratorisk bevegelse, temperatur, blodtrykk og til og med elektroencefalogram (EEG) og elektrokardiogram (EKG) fra hjemmet, uten at barnet trenger å være på sykehus. Dette er spesielt viktig for for tidlig fødte barn eller de som har kroniske sykdommer, da de er mer utsatt for komplikasjoner.

RIM-systemene er basert på en rekke sensorer som kan deles inn i to hovedtyper: kontaktbaserte sensorer og kontaktløse sensorer. Kontaktbaserte sensorer, som plasseres på barnets kropp, kan gi svært nøyaktige målinger, men de kan også føre til ubehag og begrense bevegelsesfriheten. Dette kan igjen påvirke barnets velvære og til og med gi unøyaktige data hvis barnet blir forstyrret av sensoren. På den andre siden tillater kontaktløse sensorer mer bevegelse, men de har også sine egne begrensninger, for eksempel i form av at barnet må være innenfor sensorens kommunikasjonsrekkevidde for at dataene skal kunne samles inn.

I tillegg til sensorene er kommunikasjonsteknologien og algoritmene som brukes til å prosessere og overføre data avgjørende for at systemet skal fungere optimalt. Fjernovervåkning for spedbarn krever en kontinuerlig tilkobling til et kommunikasjonssystem, som kan sende dataene til helsepersonell i sanntid. Når en uregelmessighet i barnets tilstand oppdages, kan helsepersonell umiddelbart reagere og iverksette nødvendige tiltak, noe som kan være avgjørende for barnets helse.

Fremtidens RIM-systemer vil trolig bruke en kombinasjon av kontaktbaserte og kontaktløse sensorer for å gi et mer helhetlig bilde av barnets helse. Dette kan inkludere alt fra enkle målinger som puls og oksygenmetning til mer avanserte teknikker som overvåking av hjerneaktivitet og hjertets elektriske aktivitet. Utfordringer som sensorinterferens, teknologiske angrep på de trådløse nettverkene og påliteligheten av dataoverføringen må også håndteres for å sikre at systemene fungerer pålitelige og trygt.

En annen viktig faktor er tilgjengeligheten og kostnadene ved disse systemene. I mange utviklingsland kan kostnadene ved medisinsk overvåkning være en barriere for implementeringen av slike systemer. Det er derfor nødvendig å utvikle løsninger som er økonomisk bærekraftige samtidig som de gir høy kvalitet på overvåkningen.

Fjernovervåkningsteknologiens utvikling har ført til et paradigmeskifte innen helsevesenet, spesielt når det gjelder behandling og overvåkning av nyfødte. Denne teknologien gir både et alternativ til kostbare sykehusopphold og en mulighet for mer presis og rask intervensjon. I fremtiden vil vi trolig se en økt integrering av denne teknologien i det daglige helsevesenet, både i utviklede og utviklingsland, noe som kan bidra til å redusere helseforskjellene og forbedre spedbarnshelse globalt.

Fjernovervåkning av nyfødte er et viktig skritt fremover i helsevesenets digitalisering, og systemene som benytter seg av denne teknologien, må utvikles på en måte som balanserer presisjon, komfort og etiske hensyn. Det er også nødvendig å sikre at disse systemene er tilgjengelige for alle som trenger dem, uavhengig av geografisk plassering eller økonomisk status. Teknologiens rolle i å redde liv er allerede tydelig, men det er fortsatt mange utfordringer som må løses før vi kan oppnå optimal bruk av fjernovervåkningssystemene for nyfødte over hele verden.