Palleschi - Tecniche di blind source separation
0 likes255 views
Il documento discute le tecniche di blind source separation utilizzate per recuperare informazioni nascoste in manoscritti e opere d'arte attraverso imaging multispettrale. Vengono analizzati vari aspetti dell'imaging, come la percezione del colore e le bande di lunghezza d'onda, nonché l'elaborazione delle immagini per migliorare la leggibilità. Sono presentati casi studio, tra cui il palinsesto di Archimede, per illustrare l'applicazione pratica di tali tecniche nel campo del patrimonio culturale.
Palleschi - Tecniche di blind source separation
- 1. Tecniche di Blind Source Separation per il Recupero di Informazioni Nascoste in Manoscritti, Opere d'Arte, Reperti Archeologici Vincenzo Palleschi Consiglio Nazionale delle Ricerche, Pisa Università degli Studi di Pisa Università di Torino Seminario di Cultura Digitale, 22 marzo 2017
- 2. Imaging Multispettrale Il termine "imaging multispettrale" indica quelle tecniche digitali di ricostruzione di immagine che si propongono di riprodurre (ed estendere) il meccanismo della visione umana
- 3. Il meccanismo della visione ´ La radiazione luminosa nell’occhio umano attiva in maniera diversa tre tipi di recettori (coni) della retina ´ Come conseguenza di questo, l’occhio percepisce lunghezze d’onda diverse come colori diversi, attraverso l’elaborazione dei 3 valori di tristimolo provenienti dai coni
- 4. Imaging Digitale ´ Il sistema di imaging più semplice (e diffuso) è quello delle macchine fotografiche digitali ´ I sensori elettronici delle macchine digitali non sono di per sé sensibili al colore ´ La ricostruzione del colore avviene tipicamente attraverso l’interposizione di un sistema di micro-filtri colorati davanti al sensore Il filtro ‘Bayer’
- 5. Imaging Digitale ´ Su un sensore CCD da 24 Mpixel vengono rilevati 6 Mpixel di rosso, 6 Mpixel di blu e 12 Mpixel di verde ´ Il verde è il colore al quale l’occhio umano è più sensibile, e quindi viene campionato al doppio della risoluzione.
- 6. Sistemi a Filtro Variabile ´ Macchina fotografica digitale simile ad una macchina fotografica convenzionale ´ La selezione spettrale è effettuata attraverso l’interposizione di opportuni filtri di fronte all’obiettivo o tra l’obiettivo e il sensore
- 8. Oltre il visibile ´ La banda di ‘colore’ al di sopra dei 700/750 nm non è percepita dall’occhio umano, ma può essere registrata dai sensori CCD (Charge-Coupled Devices) che si usano per l’imaging multispettrale visibile 300 400 500 600 700 800 900 1000 1100 1200 0.01 0.1 1 Relativeefficiency Wavelength λ nm
- 9. Dipendenza dalla lunghezza d'onda Radiazioni di lunghezza d'onda differente hanno diverse profondità di penetrazione al di sotto della superficie La componente riflessa a lunghezze d'onda corte (ultravioletto/blu) in genere fornisce informazioni sulla struttura della superficie, mentre quella nell’infrarosso può rivelare la struttura del dipinto al di sotto dello strato pittorico
- 10. Agnolo Bronzino – La pietà Olio su tavola cm 223x84,5 in tabernacolo ligneo policromo e dorato cm 323x126x38 Firmata e datata ANGELUS BRONZINUS. 1569 FLOR. FAC.
- 11. La pietà del Bronzino
- 12. La pietà del Bronzino
- 13. La pietà del Bronzino
- 20. FIGURE ROSSE
- 22. Altra figura
- 23. Immagine IR
- 24. Andamento IR 850 nm 950 nm 1050 nm
- 25. Andamento IR 1050 nm Per ottenere un aumento della leggibilità dell’immagine è importante avere una buona risoluzione spettrale nell’IR Immagine nella banda complessiva tra 850 e 1050 nm (simulata)
- 27. Ipercolori ´ In un’immagine RGB, ogni pixel è associato ad un colore, con tre coordinate corrispondenti alle componenti Blu, Verde e Rossa ´ Si può immaginare che ad ogni pixel sia associato un vettore con quelle componenti
- 28. Colori vicini e colori lontani G R B G R B Ø La distanza tra due colori si può misurare calcolando l’angolo tra i due vettori che li rappresentano, piuttosto che la distanza cartesiana tra i due punti che individuano Ø Infatti, i due punti possono essere anche molto distanti tra loro ma se l’angolo che fanno è piccolo, praticamente corrispondono a sfumature dello stesso ‘colore’
- 29. Ipercolori ´ Cosa succede se abbiamo più di tre bande spettrali? ´ Succede che ad ogni pixel sarà associato un vettore con più di tre componenti ´ Anche se non riusciamo a visualizzare questo vettore in uno spazio a tre dimensioni, tutti i teoremi matematici che valgono per i vettori tridimensionali sono allo stesso modo validi per i vettori con più di tre dimensioni
- 30. Individuazione di zone con colori ‘simili’ ´ Se si hanno a disposizione più di tre bande di colore, nelle nostre immagini si possono individuare delle zone caratterizzate da (iper)colori vicini, andando a marcare i punti distanti meno di un certo valore da un (iper) colore di riferimento ´ Tanto minore è la distanza di ‘soglia’ per definire la similitudine tra i colori, tanto più sarà selettiva la procedura ´ Imponendo un criterio di similitudine troppo ristretto, si corre il rischio di considerare come diverse sfumature di colore simili
- 31. Immagini rosse – Tomba della Scimmia
- 33. Elaborazione di gruppi di immagini Un insieme di immagini multispettrale può essere elaborato per evidenziare particolari altrimenti non immediatamente visibili o migliorare la leggibilità del soggetto applicando il principio di separazione statistica delle immagini L’idea è quella di considerare le n immagini multispettrali (pari alle bande di ‘colore’ considerate) come la sovrapposizione di altre n immagini ‘indipendenti’, ognuna corrispondente a una caratteristica fisica (substrato, strato pittorico, danneggiamenti superficiali, ‘underdrawing’, ecc…) Gli algoritmi di separazione tentano di ‘estrarre’ le immagini indipendenti, attraverso una combinazione lineare delle immagini multispettrali originarie
- 34. Il problema del cocktail party L'esempio classico che si utilizza per spiegare le tecniche di separazione statistica è il cosiddetto 'problema del cocktail party'… Con opportuni algoritmi di elaborazione del segnale, si possono isolare le singole conversazioni, riducendo i rumori di fondo, riverberi, ecc…
- 35. Trattamenti Statistici G B R Separazione nelle 3 componenti di colore (RGB)
- 38. Trattamento statistico delle immagini Si cerca una serie di combinazioni lineari (somme e differenze) di tutte le immagini multispettrali, nel nostro caso 4 (IR,R,G,B), che massimizzi la differenza o l’indipendenza statistica delle immagini risultanti. Si possono determinare degli algoritmi che non richiedono un intervento esterno e che per questo sono detti: BLIND SOURCE SEPARATION METHODS
- 39. Il Palinsesto di Archimede La pergamena originale, nella quale erano trascritte alcune opere di Archimede, risale al X secolo. Nel XIII secolo la pergamena fu cancellata per sovrascrivervi un testo di preghiere. Nel 1998 il palinsesto è stato venduto all'asta presso Christie's e acquistato da un anonimo americano (Mr. B.). Da allora è iniziato un lungo lavoro di recupero del testo delle opere Archimede con l'uso di imaging multispetrale, raggi X e luce di sincrotrone.
- 42. Le lettere della Contessa d’Albany
- 43. Lettura di immagini ‘nascoste’ Opera di artista sconosciuto, all’interno dello specchio si intuisce la presenza di una scritta nascosta
- 44. Lettura di immagini ‘nascoste’ B G R IR
- 45. Lettura di immagini ‘nascoste’ ANNO MDCCL XXXIX RIVA
- 46. Tomba della Scimmia - Chiusi
- 47. Oggi Aumento di leggibilità con la sola banda IR Angelelli (1847) D'Alessandris (1905) Gatti (1911) Bianchi Bandinelli (1939)
- 48. Aumento di leggibilità con BST
- 49. Aumento di leggibilità con BST Analysis of Multispectral Images in Cultural Heritage and Archaeology, J.Appl.Las.Spectrosc.1 (2014) 23–28
- 50. Figura a sinistra IR Angelelli (1847) D'Alessandris (1905) Gatti (1911) Bianchi Bandinelli (1939)
- 51. Altre figure
- 52. Altre figure GB R IR In questo caso non si ha nessun miglioramento di leggibilità passando dal visibile all’infrarosso
- 53. Trattamento statistico delle immagini GB R IR
- 54. Confronto con disegni d’epoca