Generazione di Scene 3D tramite Testo: Innovazioni e Sfide

La rapida evoluzione del metaverso e della realtà virtuale ha portato ad un aumento significativo della domanda di rendering fotorealistici di scene 3D. Tra le varie tecniche, le rappresentazioni di scene di alta qualità, come le panoramiche HDR, sono diventate essenziali per ottenere effetti di illuminazione realistici e ambienti immersivi nella grafica computazionale (CG). Una rappresentazione ideale di una scena per le pipeline grafiche dovrebbe possedere alta risoluzione, un ampio intervallo dinamico e dettagli intricati. Tuttavia, la creazione di tali rappresentazioni risulta complessa, in quanto il processo di acquisizione è sia intensivo in termini di risorse che limitato da vincoli fisici. Questo ha spinto lo sviluppo di una pipeline automatica di generazione di scene.

Nonostante il loro potenziale, i metodi di generazione di scene basati su testo affrontano numerose sfide. In primo luogo, la risoluzione. I modelli generativi esistenti fanno fatica a sintetizzare contenuti di scena con risoluzione ultra-alta (4K+) e sufficienti dettagli e diversità. La generazione di scene 3D altamente risolute è ancora un campo emergente, e la sfida è maggiore quando si cerca di mantenere la coerenza semantica e strutturale in una scena che può comprendere numerosi oggetti e layout complessi. La difficoltà principale non risiede solo nell’ottenere immagini nitide e dettagliate, ma anche nell’assicurarsi che l’intero insieme di oggetti e strutture presenti nella scena sia semanticamente coerente con la descrizione testuale fornita.

Un altro problema significativo riguarda l’allineamento testuale. La raccolta di dati abbinati per addestrare modelli di generazione di scene da descrizioni di testo è costosa e richiede un notevole impegno. Questo lascia la generazione “zero-shot” (senza dati abbinati) largamente inesplorata, nonostante le potenzialità che essa comporti. Inoltre, la gestione dell'intervallo dinamico, ovvero la capacità di generare scene con una vasta gamma di luminosità, è una sfida complessa, in quanto la conversione di uscite a bassa gamma dinamica in rappresentazioni HDR può risultare instabile.

La fase I si concentra sulla diversità delle caratteristiche ambientali introducendo un’architettura a doppio codebook, utilizzata nei modelli vettoriali quantizzati. Tale architettura cattura le informazioni globali e locali della scena in maniera gerarchica. Il codebook globale codifica la semantica e la struttura complessiva della scena, mentre il codebook locale si concentra sui dettagli più fini. Per generare una rappresentazione della scena, viene utilizzato il modello pre-addestrato CLIP per estrarre le embedding del testo dalle descrizioni fornite dall’utente. Queste embedding guidano un campionatore globale nell’estrazione delle caratteristiche olistiche dal codebook globale, seguito da un campionatore locale che affina queste caratteristiche in una rappresentazione LDR della scena, utilizzando una codifica posizionale sferica.

Nella fase II, la scena LDR generata viene trattata come un campo continuo su un dominio sferico, che permette un’interpolazione spaziale. Ogni panoramica è codificata in codici latenti strutturati distribuiti sulla sfera, che consente di trattare qualsiasi posizione (θ, φ) tramite un modulo di super-risoluzione basato su una perceptron multilivello (MLP). Questo modulo migliora sia la risoluzione che la gamma dinamica, producendo rappresentazioni HDR di alta fedeltà della scena.

Il framework proposto non solo giustifica la capacità di generare scene visivamente coinvolgenti con alta fedeltà, ma dimostra anche l'utilità pratica del sistema in scenari complessi come il rendering realistico e gli ambienti virtuali immersivi.

Come migliorare il riconoscimento degli oggetti in un modello di rilevamento basato su Transformer?

Nel contesto del rilevamento degli oggetti, i modelli basati su Transformer, come il DETR (DEtection TRansformer), hanno mostrato notevoli miglioramenti nella precisione rispetto agli approcci tradizionali. Tuttavia, uno dei limiti principali riguarda la difficoltà di rilevare più istanze dello stesso oggetto o oggetti appartenenti a classi diverse all'interno di un'immagine. La metodologia proposta per superare questo problema si basa sull'integrazione delle embeddings condizionali, ottenute tramite input specifici per ciascun oggetto, direttamente nelle query di oggetto del modello.

Il processo di adattamento delle query di oggetto prevede che le embeddings condizionali (derivate sia dal testo che dall'immagine) vengano aggiunte alle query class-agnostic (che non dipendono dalla classe dell'oggetto) attraverso un'operazione di somma. Questo approccio permette di trasformare le query in query specifiche per ciascuna classe, ma presenta una limitazione significativa: l'associazione di una singola embedding condizionale a una sola query oggetto riduce la capacità del modello di distinguere tra istanze multiple dello stesso oggetto o tra oggetti di classi diverse all'interno della stessa immagine. Per ovviare a questa difficoltà, il modello replica le query di oggetto un numero R di volte, mentre le embeddings condizionali vengono replicate N volte, dove N è il numero di input condizionali per ciascun oggetto. Questo genera un totale di N × R query da confrontare durante ogni passaggio in avanti nel modello.

Un altro aspetto fondamentale di questo approccio è l'uso di una maschera di attenzione per garantire che le copie delle query siano trattate in modo indipendente durante il processo di condizionamento finale. Questo aiuta a preservare l'autonomia delle diverse copie delle query, evitando interferenze tra oggetti appartenenti a classi diverse. Il risultato di questo processo di condizionamento è una funzione di perdita binaria, che non solo regola l'assegnazione delle etichette, ma integra anche il miglioramento dell'accuratezza nella previsione delle coordinate delle bounding box.

L'ottimizzazione della funzione di perdita finale combina la perdita di corrispondenza con la perdita di regressione della bounding box e una perdita di ricostruzione dell'embedding. Quest'ultima è cruciale perché forza il modello a imparare rappresentazioni distinte per diversi concetti nello spazio delle caratteristiche, migliorando la precisione nel riconoscimento degli oggetti e nelle operazioni di rilevamento. Il risultato finale di questa ottimizzazione è un set di oggetti rilevati, ognuno dei quali è caratterizzato da un set di coordinate di bounding box previste e da una probabilità di corrispondenza 2D.

Un altro aspetto interessante di questo approccio è la possibilità di applicare il modello a contesti di rilevamento a vocabolario aperto, dove non è necessario che il modello abbia una conoscenza preesistente delle classi oggetto. Questo è reso possibile dall'uso di embeddings testuali generati da modelli come CLIP, che sono in grado di produrre rappresentazioni generiche che possono essere adattate a nuove classi di oggetti.

In termini di sperimentazione, il modello è stato valutato su due benchmark di rilevamento a vocabolario aperto, LVIS e COCO, ottenendo prestazioni significative, specialmente nella gestione delle classi rare, che sono state trattate come "novel" (nuove) durante il training. La valutazione ha mostrato miglioramenti consistenti nella mAP (mean Average Precision) su tutte le categorie, con risultati promettenti anche per le categorie rare, che sono generalmente più difficili da rilevare.

Infine, l'integrazione del modello di rilevamento a vocabolario aperto con tecniche di segmentazione delle istanze rappresenta un passo avanti significativo. La combinazione del Transformer con una testa di segmentazione esterna, che utilizza una rete completamente convoluzionale (FCN), permette al modello di non limitarsi al rilevamento degli oggetti, ma di produrre anche maschere di segmentazione precise, migliorando ulteriormente le prestazioni nei compiti di segmentazione delle immagini.

La chiave del successo di questa metodologia risiede nel miglioramento della capacità del modello di generalizzare a nuove classi di oggetti e nel fornire risultati precisi anche in presenza di oggetti multipli o sovrapposti. L'uso delle embeddings condizionali, unite alla replica delle query e al processo di condizionamento, consente al modello di mantenere una visione chiara e dettagliata di ogni istanza, migliorando significativamente la sua capacità di riconoscimento in scenari complessi.