Photon mapping su modello ricavato da una foto

Questa è la foto presa in considerazione per sviluppare un modello 3D con texture importate dall'immagine.
Si può notare come la prospettiva distorca le proiezioni, cosa che rende più arduo ricavare un modello senza nessuna misura di base dell'edificio.
Inoltre la facciata in gran parte piana presenta degli elementi in estradosso che per prospettiva appaiono con volumetria proiettata.
Alcuni elementi sono interposti fra l'edificio ed il punto di scatto dell'immagine; quindi con un software di fotoritocco andrebbero rimossi.
In alcuni punti non li aspoterò per mostrare come sia stata utilizzata proprio l'immagine.
Inoltre le auto che oscurano la base laterale della chiesa impediscono di delineare una linea che manda al secondo punto di fuga, rendendo impossibile utilizzare sistemi di fotogrammetria.
L'aspetto tuttavia peggiore è la bassa risoluzione dell'immagine, la quale ingrandita mostra le tipiche blochettature di pixel e permette di ricavare texture di scarsa qualità.

Volendo scattare una foto per porre texture fotorealistiche su un edificio molti di questi impicci sarebbero facilmente evitabili cambiando punto di scatto e scegliendo risoluzioni maggiori.
Avendo due linee fondamentali dell'edificio per due facciate ortogonali sarebbe possibile eseguire con estrema semplicità un photo-matching lavorando in prospettiva.

 In una tale situazione il punto di partenza è raddrizzare la facciata per poterne ricavare direttamente le misure dal modello.
E' bene notare che maggiore è l'angolo da raddrizzare, maggiore è il rischio di deformare i colori, specie con volute complesse e maggiore è il rischio di trovarsi con parti in estradosso proiettate verso un punto di fuga deformato

 Il lato raddrizzato è quasi inservibile: necessiterebbe dell'asportazione di molti elementi con fotoritocco, presenta l'ombra che copre parte del sottotetto e manca di tutta la base dell'edificio.
La finestra centrale dovrebbe apparire come un semicerchio, a dimostrazione che la foto andrebbe ulteriormente allargata.

Quanto appena detto lo si può notare nel rosone decentrato rispetto la verticale dell'edificio e nelle parti esposte della porta rivolte verso sinistra nella foto raddrizzata.

Creando le volumetria su cui proiettare la foto raddrizzata, come fossero textur, si ricade nei problemi di prospettiva, per cui la cadenza di elementi verticali nella cornice ed il punto di giuntura fra le due falde del tetto deve essere costruito a mano.
E' bene lavorare a specchio per limitare il lavoro e posizionare gli elementi illuminati laddove le ombre nella foto impediscono di definire le forme.
Come si può notare la finestra del timpano non è centrata e deve essere raddrizzata.

 Particolari minuti e complessi, più che perdersi a ricostruirli completamente vale la pena applicarli come texture 2D.
Infatti la volumetria viene in parte compensata dalle ombre impresse nello scatto, purchè non sia troppo discoste dal muro piano.
Un'alternativa è l'uso delle normal map / bounced map con appositi shader od altre tecniche che alterino gli stati di illuminazione/saturazione secondo la forma presunta dell'oggetto in rilievo.

Il rendering finale, eseguito con Yafaray e l'algoritmo di illuminazione photon mapping.

Ma anche diversi stili applicati a texture fotorealistici offrono interessanti prospettive di design.

Altre tecniche di texturing su modello ricavato con foto

Fotoritocco con elementi della foto

Proseguendo con i vari metodi per inserire un elemento in un'immagine senza dover ricostruire tutto il paesaggio, si può considerare l'utilizzo di photoshop.
In questo caso è bene notare come l'editing dell'immagine risulti fattibile nel caso in cui vi siano elementi per eseguire la modifica.
Infatti per inserire degli elementi in un'immagine si hanno a disposizione strumenti quali varie forme di copia ed incolla o trasformazioni di ritagli; la generazione di nuove strutture/aree/forme dal nulla appare piuttosto ardua.
In tal caso, dovendo inserire un edificio con due facciate, una in prospettiva, una di fronte, dietro altri elementi quali alberi, macchine, persone e cartelloni, il compito appare arduo.
Infatti un elemento obblicuo da incollare sulla strada principale centrale può essere ricavato dallo sfondo dell'immagine, ma manca un elemento orizzontale per rendere la bidimensionalità della pianta dell'edificio da inserire.

A tal riguardo conviene allora basarsi sul database di google street per ricavarne una nuova immagine con un elemento utile da copiare.

L'edificio sullo sfondo, fotografato fronte alla videocamera può essere utile allo scopo, se adeguatamente tolto dal contesto e trasformato.
Infatti l'immagine si presenta con una prospettiva che differisce dal contesto in cui la si vuole inserire (trasformata prospettiva, scala e raddoppio delle dimensioni dato che troppo corto per il contesto dove deve essere inserito).
Il dover utilizzare elementi già presenti nell'area è fortemente limitativo all'estro di una nuova struttura.

Tuttavia è bene notare come la luminosità della facciata differisca da quanto ci si aspetterebbe nel contesto visivo dell'immagine da editare.

Si può notare come la facciata della chiesa risulti splendente, mentre la facciata dell'edificio virtuale inserito sia con una luce diversa (non è stato applicato alcun filtro o modifica di luminosità).

Dei tre problemi:

1. individuazione della corretta disposizione delle facciate o della prosspettiva dell'elemento che si vuole inserire;
2. individuazione dei corretti colori (in genere la disponibilità di matite colorate non eguaglia mai una gamma RGB);
3. l'individuazione del sole e di conseguenza l'inserimento di adeguate ombre in accordo con quelle già presenti nell'immagine.

A differenza di altri metodi in questo caso si hanno molti meno problemi ad individuare i colori "naturali" della scena, dato che del tutto uguali a quelli presenti nella stessa scena.
Permangono invece le difficoltà di proiezione della struttura.
Inoltre le trasformate che permettono di raddrizzare prospettive con punto di fuga non infinito hanno limitano a modifiche che restino in un intorno congruo e non deformino eccessivamente l'area originale selezionata.
Anche l'uso di aree troppo piccole o di fattori di scala troppo grandi crea problemi, rendendo predominante la pixellatura (es: area piccola ingrandita troppo per rendere un elemento molto distante nella prospettiva dall'area di origine).

Nella costruzione dell'edificio in 3D si deve avere cura di adottare le corrette dimensioni plano-altimetriche, per cui i particolari della struttura devono essere congrui fra diverse facciate (esempio: le finestre di dimensioni progressive ed alla medesima altezza).

L'effetto, specie se sullo sfondo dell'immagine ed anche se fatto frettolosamente risulta migliore che non con l'utilizzo di altre tecniche.
Ad una visione approfondita si potrebbero individuare incongruità sui bordi degli elementi, se non adeguatamente smussati od inseriti (nel caso in questione finiscono su punti ciechi dietro auto o siepi risolvendo il problema).

L'utilizzo dei filtri applicando uno stile uniforme e modificando i contorni delle immagini riduce lo scarto fra gli elementi originariamente presenti e l'elemento inserito facendo sembrate il tutto un insieme omogeneo specie in quei casi in cui vengono maggiormente variate le luci e le ombre.

 

 

Indice

Fotoritocco con edificio proiettato in un programma di rendering

Un altro modo per inserire un elemento in un'immagine senza dover ricostruire tutto il paesaggio si può basare sulla costruire del solo edificio in un ambiente CAD 3D.
A questo scopo possono servire programmi CAD avanzati come Archicad, capaci di simulare con precisione e librerie i dettagli della struttura, o programmi veloci come Google Sketchup pro, il quale con la velocità di disegno, proiezioni ed estrusioni permette di ottenere risultati accettabili in poco tempo.
E' bene notare che se l'edificio che si deve realizzare è nello sfondo di un'immagine i dettagli possono essere commisurati alla distanza, ovvero dettagli minuti che richiedono molto tempo per essere creati od inseriti poi possono andar del tutto persi nel rendering.
Nella costruzione dell'edificio in 3D si deve avere cura di adottare le corrette dimensioni plano-altimetriche.

Costruito l'edificio in un formato condivisibile (dxf, 3ds, obj...) si può passare ad un software di rendering per proiettare in un'immagine 2D dalla posizione di scatto.
Se il software di rendering è buono è facile giocare con le condizioni di illuminazione/ombreggiamento per ritrovarsi nelle medesime condizioni del sito.
Dei tre problemi:

1. individuazione della corretta disposizione delle facciate o della prosspettiva dell'elemento che si vuole inserire;
2. individuazione dei corretti colori (in genere la disponibilità di matite colorate non eguaglia mai una gamma RGB);
3. l'individuazione del sole e di conseguenza l'inserimento di adeguate ombre in accordo con quelle già presenti nell'immagine.

Si riescono ad attenuare sia le vistosità create da errori di illuminazione, sia eventuali errori prospettici.
Tuttavia con tale sistema risulta più difficile individuare le corrette dimensioni dell'edificio, operazione che conviene fare più correttamente attraverso una mappa 2D (non sempre a disposizione) con le corrette lunghezze e larghezze.
Altro punto dolente sono le texture, pur realistiche difficilmente si riesce a farle corrispondere alla perfezione con quelle rappresentate nell'immagine.

Ottenuta l'immagine del rendering dell'edificio con un programma di fotoritocco come Paint.net o Photoshop è possibile copiare ed incollare più strati o layout selezionati in modo tale da rispecchiare l'ordine di visualizzazione degli elementi (layer 0 = foto originale, layer 1 = selezione del rendering dell'edificio da inserire, layer 3 = selezione degli alberi e degli altri elementi antistanti nella proiezione).
E' bene far notare che la riuscita dell'inserimento dell'edificio fra altri edifici e gli alberi / persone interposte fra l'obiettivo dello scatto e la zona da modificare dipende molto dalla capacità del programma di disegno (paint.net o photoshop) di selezionare le corrette aree da incollare.
In questo caso lo strumento bacchetta magica è utilissimo, ma il suo algoritmo di selezione, se non ottimizzato può rendere ostica la selezione dell'area da incollare.

Nell'immagine è ancora vistoso l'elemento aggiuntopur avendo un grado di attenuazione maggiore rispetto ad una modifica a mano.
Ciò che lo differenzia è evidentemente la scelta della texture, troppo brillante e lucente per i colori smorti degli edifici contigui.


Tuttavia applicando un filtro grafico come il disegno a righe, o il disegno a matita si ha un miglioramento dell'apparenza dell'edificio nella scena, più di quanto non si ottenesse modificando a mano parte dell'immagine..

Il disegno in bianco e neo mostra come l'eliminazione della texture gialla brillante renda più omogenei tutti gli elementi, nuovi e vecchi presenti nell'immagine modificata.

Il passaggio per tre programmi rende l'elaborazione più complessa e strutturata, ma migliora la resa.
L'adozione di filtri grafici in alcuni casi migliora la scena, riducendo l'impatto visivo che il nuovo elemento crea rispetto a quelli preesistenti.


Indice

Fotoritocco a mano

Volendo valutare in modo un po' empirico la possibile attenuazione di alcuni filtri grafici, come spiegato qui,  una strada che si potrebbe percorrere è quella del "fotoritocco" a mano.

Con un qualsiasi programma di editing di immagini si può procedere in poco tempo alla rimozione delle aree visibili che andrebbero sostituite.
Tuttavia, da subito sorgono almeno tre problemi:

1. individuazione della corretta disposizione delle facciate o della prosspettiva dell'elemento che si vuole inserire;
2. individuazione dei corretti colori (in genere la disponibilità di matite colorate non eguaglia mai una gamma RGB);
3. l'individuazione del sole e di conseguenza l'inserimento di adeguate ombre in accordo con quelle già presenti nell'immagine.

 Nella prova volutamente sono stati ignorati questi tre aspetti

 

A colpo d'occhio si percepisce l'inserimento di un elemento indesiderato nell'immagine.

La situazione non migliora nemmeno con l'applicazione di vari filtri.

Effetto matita a colori alla foto è forse quello che più attenua l'impatto visivo, pur facendolo trasparire come diverso per la mancanza di ombre.

 

Quindi, eliminando completamente l'effetto di ombre tenui e colori realistici o meno, si può notare come sparisca la maggior parte del distacco visivo fra l'elemento aggiunto ed il resto della scena (filtro disegno a matita in bianco e nero).

Indice

Una nuova idea

Versione stile disegno dell'immagine tratta da Google Street.
L'immagine è stata in parte foto-ritoccata per eliminare la parte non asfaltata.
Come si può notare, la resa della conversione in disegno per righe è ottima. ed offre uno splendore all'immagine di indubbio interesse.
L'idea dietro questa operazione è comprendere se questa modifica o modifiche simili possano attenuare eventuali effetti di fotoritocco od inserimento di nuove strutture nell'ambiente senza passare per lunghe procedure grafiche di "ambientamento".
Infatti inserire un nuovo edificio in un ambiente naturale risulta particolarmente difficile per tutta una serie di fattori quali luci, diverse texture e prospettive.
La prova mirerà a sostituire un edificio in mezzo fra lo sfondo e gli alberi sulla destra
Ricostruire tutto l'ambiente in 3D sembra la procedura più semplice (un software, tanti object che simulino gli elementi presenti nell'immagine), ma è anche la via più lunga e complessa.
Inoltre quasi mai si hanno a disposizione object tali e quali alle forme presenti in un caso reale (a meno che uno non sia un programmatore di blocchi cad), potendo così ottenere solo un'immagine simile.

Fotoritocco a mano
Fotoritocco con edificio proiettato in un programma di rendering (senza texture realistiche)

Fotoritocco con elementi della foto