I de seneste år er der blevet gjort betydelige fremskridt inden for anvendelsen af dybe neurale netværk til analyse af hyperspektrale billeder. Især har 1D-konvolutionelle neurale netværk (1D-CNN) vist sig at være et effektivt redskab til at forstå og klassificere komplekse mønstre i spektrale data. Dette er særligt relevant, når man ønsker at detektere subtile fysiologiske ændringer i planter, såsom tidlige tegn på vandstress.

En nylig undersøgelse udført af Yan et al. [28] anvendte 1D-CNN til at analysere spektrale data fra et Vis/NIR hyperspektralt billedsystem (376–1044 nm), som blev brugt til at identificere angreb af bladlus på bomuldsplanter. Resultaterne viste, at 1D-CNN overgik traditionelle maskinlæringsmetoder som logistisk regression (LR), K-NN, SVM og beslutningstræer, når det kom til klassifikationen af spektrale data. Den vigtigste fordel ved 1D-CNN er, at netværkets skiftende konvolutions- og poolinglag automatisk udtrækker ikke-lineære funktioner fra de rå data, uden behov for manuel funktionsekstraktion. Dette fører til en mere effektiv og præcis proces, som kan håndtere store mængder data på en måde, der er langt mere kompleks end de tidligere anvendte metoder.

I denne sammenhæng anvendes 1D-CNN ikke kun til klassifikation, men også i kombination med Principal Component Analysis (PCA). PCA hjælper med at reducere dimensionerne af de hyperspektrale data, samtidig med at de mest relevante informationskomponenter bevares. Denne tilgang minimerer de beregningsmæssige krav, hvilket gør modellen både hurtigere og mere effektiv, uden at gå på kompromis med kvaliteten af resultaterne. Ved at anvende PCA på hyperspektrale data kan man reducere antallet af spektralbånd, samtidig med at den essentielle information fastholdes. Det betyder, at det bliver muligt at arbejde med et mere håndterbart datasæt, hvilket er en stor fordel i store undersøgelser.

Den metodologiske tilgang starter med forberedelsen af de hyperspektrale billeder, som i denne undersøgelse blev indsamlet fra majsplanter dyrket under kontrollerede forhold i Belgien. Billederne blev optaget dagligt i en periode, hvor planterne blev udsat for gradvis tørkebehandling. I det første trin blev billederne forbehandlet, så kun de relevante pixels, der svarer til planter, blev bevaret. Derefter blev disse pixels viderebehandlet for at eliminere støj og reducere deres dimensioner ved hjælp af PCA. De resulterende funktionelle vektorer blev derefter brugt til at træne en 1D-CNN-model, som kunne klassificere om en plante var påvirket af vandstress eller ej.

De anvendte hyperspektrale billeder blev oprindeligt taget i et spektrum fra 400 til 1000 nm. På grund af højt støjniveau i visse bølgelængder, blev analysen begrænset til et udsnit af dataene mellem 500 og 850 nm. Dette reducerede ikke kun støj, men forbedrede også den overordnede nøjagtighed af klassifikationen. For at adskille plantepixel fra baggrund blev NDVI (Normalized Difference Vegetation Index) anvendt, hvilket er en effektiv metode til at identificere vegetationsområder i hyperspektrale billeder.

Efter at dataene blev forberedt og reduceret i dimensioner, blev de brugt til at træne en 1D-CNN-model. Denne model bestod af flere konvolutionslag efterfulgt af fuldt forbundne lag, som endte med en klassifikationsoutput. En vigtig del af træningsprocessen var at sikre, at der ikke var nogen overlap mellem trænings- og valideringssættene. Dette blev opnået ved at opdele dataene i et træningssæt og et valideringssæt, hvor 80 % af dataene blev brugt til træning, og de resterende 20 % blev brugt til validering af modellens præstationer.

Modelens præstation blev derefter evalueret ved hjælp af en forvirringsmatrix, der målte nøjagtighed, præcision, følsomhed og specificitet. Disse målinger gav indsigt i, hvor godt modellen kunne forudsige, om en plante var påvirket af vandstress, og hvor præcise disse forudsigelser var i forhold til den faktiske tilstand af planterne.

Det er vigtigt at forstå, at 1D-CNN-modellen ikke kun giver en effektiv løsning på planteklassifikation, men også åbner op for fremtidige anvendelser i præcisionslandbrug. Ved at anvende hyperspektrale data til at vurdere planternes sundhed kan landmænd få tidlige advarsler om potentielle problemer som vandstress, hvilket kan føre til hurtigere og mere præcise beslutninger om vanding og pleje. Derudover giver brugen af PCA og 1D-CNN en effektiv måde at behandle store mængder data på, hvilket er nødvendigt i store landbrugsdriftsmiljøer.

En vigtig pointe er, at resultaterne af denne metode ikke kun er begrænset til majs. Selvom denne undersøgelse fokuserede på majsplanter, kan den anvendes til andre afgrøder, hvilket gør metoden universel og meget relevant for landbrugsforskning og praksis på globalt plan.

Hvad er Metamerisme og Hvordan Påvirker Det Billedsensorer og Farvegengivelse?

Metamerisme er et fænomen, der opstår, når to lyskilder med forskellige spektrale fordeling giver identiske farveindtryk under bestemte betingelser. Det betyder, at objekter, der ser ens ud i farve under én belysning, kan fremstå meget forskellige under en anden belysningskilde. Dette fænomen er særligt fremtrædende, når lyskilden ændres, f.eks. når man skifter fra naturligt dagslys til kunstig indendørs belysning. I forbindelse med billedsensorer og farvegengivelse kan metamerisme opstå, når sensorer registrerer forskellige spektrale fordelinger af lys og konverterer dem til de samme RGB-værdier (rød, grøn, blå). Da RGB-værdierne alene ikke er tilstrækkelige til at skelne mellem de oprindelige spektrale sammensætninger af lyskilderne, kan dette føre til farvefejl og unøjagtigheder i billeder.

Når en billedsensor som en CCD (Charge-Coupled Device) eller en CMOS (Complementary Metal-Oxide-Semiconductor) sensor fanger lys og omdanner det til digitale signaler, er der en risiko for metamerisme, fordi sensorerne har en anderledes spektral følsomhed sammenlignet med menneskets syn. Dette betyder, at to lyskilder med forskellige spektrale fordeling kan føre til samme RGB-værdier i billedet, hvilket gør det umuligt at afgøre, hvilken lyskilde der oprindeligt oplyste scenen. Som følge heraf kan det være svært at rekonstruere det oprindelige spektrum ud fra et RGB-billede. Dog, når forekomsten af metameriske par er sjælden, er sensorens respons mere sandsynlig at være forskellig for hver registrerede spektralsignal, hvilket gør det muligt at rekonstruere spektrale informationer under naturlig belysning.

Hyperspektrale data adskiller sig betydeligt fra RGB-billeder, da de dækker et væsentligt større spektralt område og består af mange flere spektrale bånd. Hyperspektrale billeder kan indeholde dusinvis eller endda hundreder af spektrale bånd, som danner et 3D-datakubus, hvor hvert pixel indeholder spektralinformation over hele spektret af båndene. I modsætning til de tre farvekanaler i et RGB-billede, indeholder et pixel i hyperspektrale billeder information på mange flere dimensioner. Dette giver en langt mere detaljeret og præcis farvegengivelse, men det medfører også betydelige udfordringer i behandlingen af disse data.

Når man arbejder med hyperspektrale data, bliver dimensionerne hurtigt komplekse. En metode til at håndtere disse store datamængder er ved hjælp af teknikker som faktor- og hovedkomponentanalyse (PCA), som sigter mod at reducere dimensionerne, samtidig med at man bevarer de vigtigste informationer. Denne tilgang kan være særlig nyttig, når man forsøger at udtrække hyperspektrale oplysninger fra RGB-data, en proces der ofte beskrives som "ill-posed". Dette betyder, at det kan være svært at finde en entydig løsning, når man forsøger at kortlægge information fra få dimensioner (RGB) til mange dimensioner (hyperspektralt).

Hyperspektrale data kan opdeles ved hjælp af en teknik kaldet spektralafmikning, som hjælper med at identificere de underliggende spektrale komponenter. I et eksperiment, hvor hyperspektrale billeder blev analyseret med faktor analyse, blev det observeret, at et relativt lille antal latente faktorer kunne forklare størstedelen af variationen i dataene. For eksempel viste det sig, at kun de første to til tre faktorer kunne forklare over 99 % af dataens varians. Dette indikerer, at hyperspektrale data ofte har en lavdimensional struktur, selvom de oprindeligt kan virke meget komplekse.

I arbejdet med hyperspektrale billeder anvendes maskinlæring og dyb læringsteknikker ofte til at finde mønstre i RGB-billeder, som relaterer sig til de hyperspektrale signaturer. Ved at anvende konvolutionelle neurale netværk (CNN) kan man træne algoritmer til at identificere spektrale mønstre, der ikke er synlige i almindelige farvebilleder, men som er afgørende for nøjagtig farvegengivelse og analyse.

Når man ser på metamerisme og hyperspektrale data sammen, er det vigtigt at forstå, at disse data ikke blot giver et billede af, hvordan noget ser ud i bestemte farver, men afslører den underliggende spektrale sammensætning af lys, der er mere præcis end det, man kan opnå med et traditionelt RGB-billede. Dette gør hyperspektrale billeder til et kraftfuldt værktøj i mange tekniske og videnskabelige anvendelser, men de kræver også avanceret analyse og databehandling for at udnytte deres fulde potentiale.

Hvordan kan usynlige flammer synliggøres gennem hyperspektral billedanalyse?

Ved første øjekast synes en flamme tydelig i det synlige spektrum – men under specifikke forhold, såsom i tilstedeværelse af røg eller under dagslysforhold, bliver selv intens varme næsten usynlig for det blotte øje eller konventionelle RGB-kameraer. Det er her, hyperspektral billedanalyse tilbyder en ny form for perceptuel tilstedeværelse, hvor lysintensiteter og spektrale karakteristika afslører det skjulte.

Et eksempel viser en brand, hvor flammen ikke fremtræder i det synlige spektrum, men bliver tydeligt markeret ved 768,60 nm, et punkt i nær-infrarød region. På dette bølgelængdeområde, som ligger udenfor det menneskelige synsfelt, træder en intensitet frem, der korresponderer med emissionen fra exciterede kaliumatomer i flammen. Denne opdagelse er kritisk – ikke blot for dens tekniske implikationer, men fordi den indikerer, hvordan elektromagnetiske karakteristika udvider vores forståelse af synlighed og tilstedeværelse.

Røgens tilsyneladende uigennemsigtighed i det synlige spektrum ophæves i nær-infrarødt. Ved 769 nm fremstår den som delvist transparent, og i visse tilfælde reflekterer den snarere end absorberer sollys. Dette ændrer radikalt vores opfattelse af, hvad der kan ses og måles i komplekse scener.

Billederne opnået via SPECIM IQ-kameraet giver adgang til 204 individuelle billeder med hver sin smalle spektrale båndbredde på 7 nm. De udgør tilsammen en hyperspektral kube med en opløsning på 512 × 512 pixels og 12-bit dybde, hvilket giver et omfattende grundlag for analyse. Hvert pixel kan således opfattes som et spektrum snarere end blot en farveværdi – og på den måde omsættes billedet fra visuel overflade til fysisk information.

Når man analyserer intensitetskurverne for pixels i forskellige områder – selve flammen, røg, himmel og menneskeskabte objekter – fremstår variationen markant. Regionen uden for flammen viser markant lavere intensitet og lavere temperatur. Samtidig fremkommer tydelige toppe i den blå ende af spektrummet, hvilket matcher forventningerne for himmelregioner, hvor Rayleigh-spredning dominerer.

Ved sammenligning af de spektrale signaturer for forskellige områder i billedet bliver det klart, at visuelle informationer skjuler langt mere, end de viser. Et pixel i brandmandens tøj (region “d”) udviser lav intensitet på tværs af spektret – ikke som følge af lav temperatur, men snarere som et udtryk for materialets spektrale uinteressanthed i dette domæne. Dette skaber et grundlag for klassifikation og objektdetektion ud fra materialeegenskaber frem for visuelle konturer.

For at vurdere præcisionen af modeller, der genskaber hyperspektral data ud fra RGB-billeder, anvendes metrikker som MARE (Mean Absolute Relative Error) og RMSE (Root Mean Squared Error). MARE måler den gennemsnitlige relative fejl mellem forudsagte og faktiske værdier, mens RMSE lægger større vægt på større fejl grundet kvadreringen af afvigelserne. Begge metrikker anvendes til at kalibrere og evaluere algoritmer under træning og giver en kvantitativ vurdering af modellens evne til at rekonstruere det spektrale rum korrekt.

Særligt i brandovervågning, hvor synlighed kompromitteres af røg og intense lyskontraster, kan hyperspektrale metoder spille en afgørende rolle. I stedet for blot at stole på intensitet i RGB-kanaler, tillader hyperspektrale data os at identificere specifikke emissionslinjer fra atomer og molekyler i forbrændingszonen. Det udvider mulighederne for detektion og kvantificering af flammer, selv når de er skjult for det menneskelige øje eller dæmpet af atmosfæriske forhold.

Det er væsentligt at forstå, at hyperspektral billedanalyse ikke blot tilfører “flere farver”, men indfører en struktureret og fysisk forankret tilgang til billedforståelse. Hver spektral båndbredde fungerer som en analytisk linse, hvor forskellige fysiske egenskaber fremhæves eller undertrykkes. Det er denne analytiske præcision, der gør teknologien uundværlig i domæner som brandanalyse, miljøovervågning, og materialeidentifikation.

Hvordan udvider du din selvopfattelse og adskiller dig fra din angst?
Hvordan landbrug ændrede menneskets liv: Fra jæger-samler til civilisation
Hvad blev af mennesket, og hvad forblev af dyrene?
Kan en lavkulhydratkost virkelig ændre dit helbred?