Hvordan forbedres kroppens geometri og teksturer i 3D-avatar-generering?

I denne studien undersøkes hvordan forskjellige metoder for tilsyn og teksturering kan forbedre geometrien og realistisk gjengivelse av 3D-avatarer. Introduksjonen av tilsyn i teksturløse renderinger har en betydelig positiv effekt på geometrien, noe som resulterer i mye renere og mer definert form. For eksempel, når vi sammenligner resultater fra ulike eksperimenter, ser vi at teksturløse modeller som er forbedret med tilsyn, viser jevnere og mer realistisk geometri, uten de tilfeldige humpene som oppstår når tilsyn mangler.

Når vi sammenligner denne metoden med to baseline-teknikker, nemlig direkte optimalisering i SMPL β .-rommet og i VAE latentrommet, ser vi tydelig at begge baseline-metodene ikke klarer å generere plausible kroppslige former i samsvar med de gitte tekstbeskrivelsene. Dette gjelder selv når motstridende beskrivelser som "tynn" vs. "overvektig" gis som input, der begge metodene fører til en felles optimaliseringsretning. I kontrast til dette, produserer den nye metoden en kropp med mer presise former, som bedre stemmer overens med den gitte beskrivelsen.

Et annet viktig aspekt ved denne metoden er hvordan den kan generere et bredt spekter av forskjellige avatarer. Ved hjelp av ulike tekstbeskrivelser, som kjendiser, fiktive karakterer og vanlige beskrivende termer om mennesker, klarer systemet å skape avatarer som er både detaljerte og realistiske. Når for eksempel kjendiser som Bill Gates eller Steve Jobs blir brukt som beskrivelser, genereres avatarene med pålitelige klær og ansiktsdetaljer som nøyaktig reflekterer den kjente personens utseende. Dette gjelder også fiktive karakterer som Batman eller Elsa, hvor detaljer som Batman’s hjelm og Elsas kjole tilpasses avatarens kropp.

En annen bemerkelsesverdig funksjon ved denne teknologien er dens evne til å håndtere ikke bare utseende, men også profesjoner og spesifikke objekter knyttet til en person. For eksempel kan en avatar som representerer en "gartner" holdes med blomster, et attributt som tydelig speiler yrkets viktigste egenskaper. Denne fleksibiliteten gjør at teknologien kan tilpasses til en bred rekke beskrivelser, fra vanlige yrker som "lege" til mer fantasifulle beskrivelser som "heks" eller "tryllekunstner."

Når vi ser på geometrikvaliteten, er hovedbidraget fra teksturløs rendering-tilsyn å forbedre nøyaktigheten i kroppens detaljer. Sammenlignet med Dream Field, som er basert på NeRF-teknologi, har vår metode en konsekvent bedre kvalitet på geometrien. Den genererer detaljer som muskeldefinisjon, konturer på rustning og klær med høyere presisjon. Dette er spesielt viktig i kontekster der fine detaljer i kroppens form og tekstur er avgjørende for det realistiske uttrykket, som for eksempel når man skaper superhelter eller andre figurer med spesifikke klær eller aksesorier.

I tillegg til det visuelle aspektet, har denne metoden også potensialet til å tillate mer presis kontroll over avatarens bevegelser og animasjoner. Ved hjelp av referansebasert animasjon kan systemet generere realistiske bevegelsessekvenser som stemmer overens med beskrivelsene. For eksempel, i animasjonseksperimentene, var metodens evne til å generere bevegelsessekvenser som "børste tennene" mer stabil og realistisk sammenlignet med tradisjonelle metoder som interpolasjon.

Det er viktig å merke seg at denne teknologien, til tross for dens imponerende evner til å generere kroppslige former og teksturer, fortsatt har sine begrensninger. For eksempel kan utfordringer knyttet til spesifikke ansiktsdetaljer og små geometriske feil oppstå, spesielt når inputbeskrivelsene er uklare eller motstridende. Imidlertid har denne teknologien vist seg å være svært stabil i sine generasjoner og opprettholder en høy kvalitet over tid.

Hvordan kan tekstbasert generering skape høyoppløselige HDR-scener uten treningsdata?

Den raske utviklingen innen metaverset og virtuell virkelighet har ført til økt etterspørsel etter fotorealistisk 3D-scenerendering. En av de viktigste komponentene for å oppnå realistisk lyssetting og innlevelse i digitale miljøer er HDR-panoramaer, som gir 360° dekning av en scenes lysstyrke med høy dynamisk rekkevidde. Disse representasjonene er ikke bare rike på detaljer, men også utfordrende å skape manuelt på grunn av deres komplekse natur og store mengder informasjon. Dette har drevet utviklingen av automatiserte systemer som kan generere slike scener direkte fra tekstbeskrivelser, uten behov for parvise treningsdata.

Den foreslåtte metoden består av to sentrale faser. Først blir en lavoppløselig og lavdynamisk rekkevidde (LDR) scene generert ut fra en fri tekstbeskrivelse. Dette skjer ved hjelp av en to-kodebok-arkitektur som fanger opp både globale og lokale egenskaper i miljøet. Den globale kodeboken koder inn overordnede scene-semantikk, mens den lokale kodeboken finjusterer detaljer i mindre patcher. Tekstbeskrivelsen blir først kodet via en forhåndstrent CLIP-modell som oversetter tekst til en semantisk vektor, som så styrer en global sampler i å hente helhetlige trekk fra den globale kodeboken. En lokal sampler bearbeider deretter disse trekkene for å bygge opp en koherent lavoppløselig scene.

I andre fase blir denne LDR-scenen oppskalert både i oppløsning og dynamisk rekkevidde ved hjelp av en superoppløsningsmodul. Denne modulen, basert på et multilags perseptron (MLP), behandler den kontinuerlige representasjonen av panoramaet på en sfærisk domene, og forbedrer dermed både spatial oppløsning og lysstyrkebredde. Denne todelte prosessen gjør det mulig å generere høyoppløselige HDR-panoramaer uten behov for omfattende, sammenkoblede treningsdatasett.

For å forstå denne teknologien fullt ut er det viktig å kjenne til hvordan tekst-til-bilde-modeller fungerer, særlig hvordan semantiske representasjoner fra språk kan kobles til visuelle kodebøker. Det er også vesentlig å sette seg inn i utfordringer ved generativ modellering, spesielt innen patch-baserte tilnærminger og superoppløsningsteknikker. For leseren er det nyttig å være klar over hvordan balansen mellom global struktur og lokal detalj påvirker sluttresultatets kvalitet, samt viktigheten av en robust dynamisk rekkevidde for realistisk lyssetting.

Videre bør man forstå at denne teknologien er et skritt mot mer tilgjengelig og intuitiv 3D-innholdsproduksjon, der ikke-eksperter kan kontrollere komplekse scener kun ved hjelp av tekst, uten omfattende teknisk kunnskap eller tung ressursbruk. Dette åpner for nye muligheter innen digital kunst, spillutvikling, simuleringer og andre virtuelle miljøer.

Hvordan kan vi forbedre genereringen av store scener med tekstforholdte globale prøvetakere?

Når vi arbeider med generering av store scener, er en av de største utfordringene at modellene mangler en dyp forståelse av den overordnede scenestrukturen og semantikken. Dette betyr at modellene, uten riktig veiledning, kan produsere scener som er fragmenterte, inkonsistente eller dårlig tilpasset den opprinnelige beskrivelsen i teksten. Et sentralt tiltak for å forbedre dette, er å bygge modeller som kan være tekst-tilpasset på et globalt nivå, slik at de bedre kan forstå og generere scener som er sammenhengende og meningsfulle i forhold til den teksten de er basert på.

Modellen er basert på en innsikt som involverer bruk av usupervisert læringsteknikk. Vi bruker K-nærmeste naboer (KNN) og kontrastiv læring for å gjøre den tekstbetingede genereringen mer presis. Dette gjør det mulig å generere en teksttilstand, Ctxt, som tilnærmer seg den sanne semantiske betydningen av en scene, I, uten å være avhengig av tradisjonelle tekst- og scenepairs. Ved å gjøre dette unngår vi behovet for store mengder merket treningsdata, noe som kan være svært tidkrevende og ressurskrevende å samle inn.

I praksis starter prosessen ved å bruke en bildesekvenskode, Eimg(I), som representerer bildet eller scenen som skal genereres. Deretter blir et pseudo-tekst trekk Ĉtxt generert ved å manipulere bildeinnkodingene, som i sin tur hjelper til med å bygge bro mellom bildemodellen og tekstmodellen. Denne prosessen involverer en matematisk formel som gjør det mulig å tilpasse bildedataene slik at de kan brukes i tekstforholdt generering.

Når pseudo-teksten er generert, trekkes de nærmeste K-bildene fra bildedatabasen som gir ytterligere betingelser for å lage den endelige teksttilstanden. Denne teksten, Ctxt, blir deretter brukt som inngangsparameter for en transformerbasert modell som tar sikte på å generere helhetlige globale funksjoner fra et globalt kodeboksystem, Zg. Denne prosessen skjer autoregressivt, noe som betyr at hvert nytt element i sekvensen predikeres basert på de foregående elementene og den betingede teksten.

Hovedideen bak dette systemet er at modellen lærer å forutsi den beste distribusjonen for neste indeks i en sekvens. For å gjøre dette på en effektiv måte, brukes den transformerbaserte prøvetakeren som gjør det mulig å lage de riktige forutsigelsene om hvilke kodeord som er relevante for å bygge den ønskede scenen, gitt den tekstuelle beskrivelsen. Ved å trene på store mengder tekst- og bildedatapar kan denne metoden hjelpe til med å generere bilder og scener som er mye mer nøyaktige og meningsfulle i forhold til tekstene de er basert på.

I tillegg til å fokusere på den tekniske prosessen med å generere tekstbetingede globale prøvetakere, er det viktig å forstå de underliggende utfordringene som oppstår når man prøver å skape modeller som ikke er avhengige av tekst-scene-par. Mange tradisjonelle generative metoder lider av problemer knyttet til manglende fleksibilitet og generalisering, noe som gjør at de ikke kan tilpasses til en bredere rekke tekstbeskrivelser uten betydelig omtrening eller justering. Den foreslåtte metoden gir et steg mot en mer robust generativ prosess ved å bruke usuperviserte læringsteknikker, som reduserer behovet for store, manuelle datasett.

Denne tilnærmingen kan derfor revolusjonere genereringen av store, sammenhengende scener fra tekst. Ved å bruke globalt betingede prøvetakere, som kobles direkte til teksten, kan modeller generere visuelle representasjoner som er mer troverdige, realistiske og semantisk riktige. Uten å være bundet til forutinntatte tekst-bildedata, åpner det opp for et mer fleksibelt system som kan brukes på tvers av forskjellige domener og tekstbeskrivelser.

Det er også viktig å merke seg at selv om denne tilnærmingen er lovende, er det fortsatt flere utfordringer som må løses. Den generelle kvaliteten på de genererte scenene er fortsatt avhengig av den opprinnelige tekstens klarhet og presisjon, og det er fortsatt rom for å forbedre den semantiske forståelsen mellom tekst og bilde. Men med videre forskning og utvikling kan denne teknologien utgjøre et viktig gjennombrudd innen tekst-til-bilde-generering, og muliggjøre mer kreative, dynamiske og presise generative modeller.

Hvordan rekonstrueres visuelle tokens og integreres multimodal informasjon i storskala video-modeller?

Den første fasen i treningen av multimodale videomodeller innebærer en presis og målrettet rekonstruksjon av visuelle tokens, utført på et detaljert token-nivå. Dette skjer gjennom et samarbeid mellom to spesialiserte ekspert-nettverk, nemlig InternVL-6B og VideoMAEv2-g. Disse fungerer som lærermodeller og overfører sin kunnskap til den nye modellen via dedikerte projeksjonslag. Hele video-sekvenser behandles av begge nettverkene, hvor 80 % av tokens maskeres i hvert enkelt bilde. Denne maskeringsstrategien er ikke tilfeldig, men styres semantisk av InternVL og dynamisk av VideoMAEv2, for å reflektere både meningsinnhold og bevegelsesmønstre.

Denne fremgangsmåten skiller seg fra tidligere løsninger som UMT og VideoPrism ved å oppnå både multimodal kompatibilitet og dypere temporal forståelse. Dette muliggjør mer presis handlinggjenkjenning og en strukturert dekoding av komplekse videodata.

Den andre fasen går videre fra isolert visuell forståelse til en tettere integrasjon mellom visuelle, auditive og språklige komponenter. Arkitekturen utvides med et effektivt lydbehandlingsmodul basert på BEATs, som benytter en 12-lags transformer og 64-dimensjonale log-Mel spektrogrammer. Dette gir modellen evnen til å oppfatte og tolke akustiske mønstre og rytmer over tid. Språklig informasjon behandles via BERT-Large, der de 19 første lagene fungerer som tekstkoder og de fem siste som en multimodal dekoder, beriket med kryssoppmerksomhetsmekanismer.

Treningsmålet i denne fasen er ikke kun å lære hver modalitet isolert, men å fremme tverrmodal forståelse. Dette gjøres gjennom en kombinert tapsfunksjon som inkluderer kontrastiv tverrmodal justering, modalitetsmatching og språkmodellering. Den kontrastive komponenten sørger for at representasjoner fra ulike modaliteter — f.eks. video og tekst — justeres i et felles semantisk rom gjennom temperaturstyrt kosinus-similaritet. Matching mellom video og tekst vurderes probabilistisk, og modellen straffes dersom den forveksler ekte og falske par. Språklig modellering skjer ved sekvensbasert sannsynlighetsestimering, hvor modellen lærer å forutsi neste token gitt tidligere kontekst.

Det er viktig å forstå at denne typen arkitektur ikke bare lærer å gjenkjenne objekter og handlinger, men utvikler et flerdimensjonalt representasjonsrom der video, lyd og språk er sammenvevd. Det er nettopp i denne sammenvevingen den virkelige semantiske rikdommen ligger. Kvaliteten på token-rekonstruksjon i fase én legger grunnlaget for hvor godt de multimodale forbindelsene etableres i fase to. Dette betyr at en tilsynelatende "lavnivå" oppgave som token-rekonstruksjon faktisk er avgjørende for de høyere nivåene av forståelse og generering.

Modellen må også trenes på datamengder som er både varierte og innholdsrike for å utvikle generaliserbarhet. En begrenset eller ubalansert treningsbase vil gi skjeve representasjoner og redusert ytelse ved inferens. Det er videre avgjørende at treningen av modellen ikke kun fokuserer på nøyaktighet i tapsfunksjonene, men på koherens i den semantiske strukturen som oppstår mellom de ulike modalitetene.

Hva er Test-Tid Prompt Tuning og hvordan forbedrer det ytelsen til Vision-Language-modeller?

Test-Tid Prompt Tuning (TPT) er en metode som adresserer en viktig utfordring i moderne maskinlæring, spesielt i bruk av pre-trente visuelle-tekstlige modeller som CLIP (Contrastive Language-Image Pre-Training). Denne teknikken har fått betydelig oppmerksomhet på grunn av dens evne til å forbedre generaliseringsevnen til modeller som allerede har blitt trent på store mengder data. Ved å benytte seg av TPT kan modeller tilpasse sine "prompter" eller instruksjoner i sanntid, selv når de konfronteres med helt nye datasett eller distribusjoner de ikke har sett før.

I tradisjonelle systemer for prompt-tuning blir promptene, som er korte tekstfrasekombinasjoner som hjelper modellen å forstå konteksten for en oppgave, designet på forhånd. Dette kan være en tidkrevende og manuell prosess, der promptene må tilpasses spesifikke oppgaver eller datasett. TPT, derimot, er en adaptiv tilnærming som lærer promptene dynamisk under testfasen, når modellen møter ukjente data. Dette kan i praksis gjøres ved å bruke et enkelt testbilde for å optimalisere prompten.

En av de mest bemerkelsesverdige fordelene med TPT er dens evne til å overvinne en vanlig utfordring i maskinlæring: generalisering til nye domener. Tradisjonelle metoder for prompt-tuning krever ofte store mengder spesifikke treningsdata fra målområdet for å oppnå tilstrekkelig ytelse. Men med TPT kan modellen justere promptene for et nytt datasett, og dermed oppnå konkurransedyktige resultater uten at det er nødvendig med omfattende tilpasset trening på det spesifikke datasettet. Dette gjør TPT spesielt nyttig i scenarier hvor det ikke er tilgjengelig store mengder annoterte data for å finjustere modellen.

En praktisk applikasjon av TPT finnes innenfor bildesortering eller bildeklassifisering. Tradisjonelt ville en modell som CLIP bruke en forhåndsbestemt tekstprompt som "et bilde av en hund" for å klassifisere et bilde som tilhørende klassen hund. Men TPT tar det et steg videre ved å bruke metoder for entropi-minimering og seleksjon basert på modellens tillit for å kontinuerlig justere prompten basert på et enkelt bilde. Dette gir modellen muligheten til å gjøre mer nøyaktige og pålitelige prediksjoner, selv når bildet er en del av et datasett den ikke har blitt trent på før.

Videre, i møte med distribusjonsforskyvninger (dvs. endringer i datafordelingen som kan oppstå når man bruker en modell i nye situasjoner eller under forskjellige forhold), viser TPT seg å være mer robust enn tradisjonelle metoder som krever spesifikke treningsdata. Ved å lære å tilpasse seg testdataene på farten, kan TPT håndtere naturlige variasjoner og forandringer som kan oppstå i virkelige applikasjoner. Når TPT evalueres på tvers av ulike datasett, viser det seg at det kan konkurrere med de beste teknikkene som også bruker ekstern treningsdata, men uten at det er behov for de ekstra ressursene og datainnsamlingen.

Selv om TPT viser lovende resultater på mange områder, er det viktig å forstå at det ikke er en universell løsning for alle utfordringer innen maskinlæring. Det er fortsatt utfordringer knyttet til å håndtere svært varierte eller kaotiske data, og i noen tilfeller kan metoden vise begrenset ytelse hvis modellen ikke har blitt tilstrekkelig trent på et bredt spekter av eksempler før.

En annen viktig dimensjon som må forstås i konteksten av TPT, er hvordan den relaterer seg til andre teknikker innen maskinlæring, som for eksempel kontrastiv læring. Kontrastiv læring, som er grunnlaget for modeller som CLIP, innebærer at man lærer å relatere visuelle og tekstlige representasjoner til hverandre gjennom en form for semantisk forståelse. TPT bygger videre på dette prinsippet ved å optimalisere promptene for å ytterligere styrke denne forbindelsen på testtidspunktet.

Til slutt bør leseren forstå at, selv om TPT kan bidra til å forbedre generaliseringsevnen til modeller, er det fortsatt behov for videre forskning på hvordan man kan forbedre teknikkens ytelse på tvers av mer komplekse og varierte applikasjoner. Dette inkluderer forskning på hvordan man kan tilpasse TPT til andre typer oppgaver utover bildeklassifisering, som objektgjenkjenning eller bildebeskrivelser.