Riassunto analitico
Gaussian Splatting è una tecnica proposta recentemente per novel view synthesis che, comparata con i precedenti metodi neural field (per esempio NeRF), offre una performance nettamente maggiore in termini di training e rendering, ad un costo di memoria ridotto.
Nell'ultimo anno, la ricerca in Gaussian Splatting si è concentrata su molteplici aspetti, uno di questi è lo sviluppo di tool rivolti all'editing di scene Gaussian Splatting. Sono stati sviluppati diversi editor e viewer, come software a sé stante o estensioni a engine 3D affermati. Tuttavia questi editor, solitamente, offrono meccanisimi per lavorare direttamente con gli splat, che sono efficaci per pulire il noise, rimuovere o applicare una tinta ad interi oggetti, ma rendono difficili edit di precisione.
Un altro ramo della ricerca, invece, si è concentrato sull'integrazione di diffusion model view-consistenti con la pipeline di ottimizzazione di Gaussian Splatting, permettendo, per esempio, l'editing via prompt testuale.
Anche se questi metodi hanno mostrato risultati promettenti, poiché riescono a sfruttare prior estratti dai dataset di immagini, il risultato non è facilmente controllabile.
In questa tesi, presentiamo "ReCoGS" (ovvero ReColoring Gaussian Splats), una pipeline di operazioni che permettono all'utente di editare in real-time scene Gaussian Splatting.
Le operazioni di editing sono tinte di colore con granularità al pixel.
Come parte necessaria della ReCoGS pipeline, presentiamo anche un metodo veloce ed accurato di stima della profondità in scene Gaussian Splatting.
|
Abstract
Gaussian Splatting is a recently proposed technique for novel view synthesis that, compared to less recent neural field-based methods (e.g, NeRF), features significantly better performance in terms of traning and rendering times at a reduced memory footprint.
In the past year, research in Gaussian Splatting focused on several aspects, one of which is the development of tools aimed at editing scenes represented as Gaussian Splats.
Gaussian Splatting editors and viewers have emerged, either as standalone software or extensions to popular 3D engines; however, these editors usually offer mechanisms for working directly with splats, which is effective for cleaning noise, removing or tinting complete objects, but hinders fine-grained editing.
Another research branch focused on the integration of view-consistent diffusion models with the Gaussian Splatting optimization, enabling, for example, editing from a textual prompt.
Although these approaches yield promising results by leveraging priors from existing image datasets, the outcome is not easily controllable.
In this thesis, we present "ReCoGS" (ReColoring Gaussian Splats), a pipeline of operations that allows users to perform real-time editing of pre-trained Gaussian Splatting scenes.
Editing operations are applied as color tints at pixel-level granularity.
As a required part of the ReCoGS pipeline, we also present a fast and accurate method for depth estimation within Gaussian Splatting scenes.
|
