MSc Thesis - Loop Closing, Place Recognition
1 like658 views
Il documento presenta uno studio sul riconoscimento di luoghi utilizzando tecnologia Kinect per la navigazione autonoma di robot. Esso descrive dettagliatamente l'implementazione di un sistema di localizzazione visiva, evidenziando tecniche come loop closing e place recognition, accompagnato da risultati sull'efficacia delle metodologie proposte. Infine, vengono discusse le criticità e i potenziali sviluppi futuri, compresi miglioramenti nelle prestazioni e l'adattamento a variabili ambientali.
![Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni
Consistenza temporale
Criterio
Loop (Γi , Γk) `e consistente se c’`e una similarit`a tra i frame adiacenti
• Dimensione intorno β
• Si considerano i β precedenti al frame corrente
• Valutazione di similarit`a con [Γk−β/2, Γk+β/2]
• Se almeno una similarit`a non supera mt il loop `e scartato
Prestazioni
β < 10 per rispettare vincoli di tempo reale (0,4 - 1,5 s)
Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi](https://image.slidesharecdn.com/slides-130918123834-phpapp02/85/MSc-Thesis-Loop-Closing-Place-Recognition-9-320.jpg)
![Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni
Conclusioni e sviluppi futuri
Contributi
1 Approccio ibrido RGB-Depth
2 Riconoscimento robusto rispetto alla luminosit`a
3 Efficienza computazionale
4 Possibilit`a di definire euristiche
Sviluppi
1 Schema di pesi dinamico (machine learning)
2 Invarianza ai distrattori
3 Descrittore unico (colore, profondit`a, luminosit`a)1
[1] SURE: Surface Entropy for Distinctive 3D Features. Torsten Fiolka, J¨org St¨uckler,
Dominik Alexander Klein, Dirk Schulz, and Sven Behnke. Spatial Cognition, volume
7463 of Lecture Notes in Computer Science, page 74-93. Springer, (2012).
Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi](https://image.slidesharecdn.com/slides-130918123834-phpapp02/85/MSc-Thesis-Loop-Closing-Place-Recognition-14-320.jpg)
MSc Thesis - Loop Closing, Place Recognition
- 1. Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni Studio e implementazione di un sistema di riconoscimento di luoghi basato su tecnologia Kinect per la navigazione autonoma di robot Laurea in Ingegneria Informatica e dell’Automazione Universit`a degli Studi di Perugia Facolt`a di Ingegneria Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi 17 Luglio 2013 Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi
- 2. Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni Contenuti Sommario 1 Introduzione • Definizione del problema • Sensore Kinect 2 Rappresentazione • Estrazione Features • Bag-of-Words (BoW) 3 Implementazione • Loop Closing • Place Recognition 4 Risultati 5 Conclusioni e sviluppi futuri Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi
- 3. Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni Visual Simultaneous Localization and Mapping (V-SLAM) Definizioni 1 Determinare se il luogo `e stato visitato : Loop Closing 2 Classificare appartenenza semantica dei luoghi : Place Recognition Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi
- 4. Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni Kinect e SLAM Caratteristiche 1 Telecamera RGB (640 × 480 pixel) 2 Sensore di profondit`a (320 × 240 pixel) 3 SLAM3D: registrazione (RANSAC, ICP) Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi
- 5. Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni Estrazione features Descrittori 1 Normal Aligned Radial Features (NARF) 2 Speeded-Up Robust Features (SURF) Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi
- 6. Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni Bag-of-Words Funzionamento BoW 1 Creazione vocabolario visuale: • Estrazione features da training-set • Clustering k-means • Vocabulary Tree 2 Per ogni frame: • Estrazione features dal frame corrente • Ricavare BoW Vector 3 Similarit`a (histogram intersection) Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi
- 7. Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni Soluzione proposta Specifiche 1 Vincoli di tempo reale 2 Utilizzare informazioni composite (RGB e Depth) 3 Valutare le prestazioni 4 Determinare criticit`a Strategia 1 Utilizzare NARF e SURF separatamente 2 Loop Closing e Place Recognition con entrambi i descrittori 3 Bag-of-Words Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi
- 8. Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni Loop Closing Acquisizione frame Estrazione features Query BoW Consistenza Temporale Consistenza Geometrica Singola iterazione • Estrazione features Γi da frame (RGB o 3D) • Selezione K candidati (soglia di similarit`a mt) • Eliminazione marcature temporali non consistenti • Selezione del risultato su base geometrica • Aggiungere Γi al database D Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi
- 9. Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni Consistenza temporale Criterio Loop (Γi , Γk) `e consistente se c’`e una similarit`a tra i frame adiacenti • Dimensione intorno β • Si considerano i β precedenti al frame corrente • Valutazione di similarit`a con [Γk−β/2, Γk+β/2] • Se almeno una similarit`a non supera mt il loop `e scartato Prestazioni β < 10 per rispettare vincoli di tempo reale (0,4 - 1,5 s) Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi
- 10. Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni Consistenza geometrica RGB • Calcolare matching tra Γi e K candidati • Calcolare omografia tra Γi e K candidati • Determinazione numero inliers • Il candidato con maggiore numero di inliers `e selezionato per il loop 3D • Allineamento point cloud con ICP • Calcolare baricentro della point cloud corrente • Calcolare differenza tra i baricentri tra PCD corrente e PCD candidati • La differenza minima individua il loop Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi
- 11. Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni Place Recognition Acquisizione frame Estrazione features Query BoW Risultato pi`u attinente definisce il luogo Condizioni • Adattamento da loop closing • Nessun controllo di consistenza • Dataset con sequenze intermedie • Misurazioni al caso peggiore Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi
- 12. Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni Risultati LoopClosing(mt) RGB(0.36) RGB(0.35) 3D(0.81) 3D(0.80) Precision 100% 96% 100% 100% Recall 49.09% 49% 54.09% 60% Place recognition - Accuracy RGB 3D CLEF2012 95.14% 41.61% ENEA-1 93.1% 39.42% Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi
- 13. Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni Criticit`a Fattori 1 Presenza di distrattori in ambienti dinamici 2 TF-IDF statico: necessario schema adattivo 3 Limiti del sensore di profondit`a (range ridotto) Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi
- 14. Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni Conclusioni e sviluppi futuri Contributi 1 Approccio ibrido RGB-Depth 2 Riconoscimento robusto rispetto alla luminosit`a 3 Efficienza computazionale 4 Possibilit`a di definire euristiche Sviluppi 1 Schema di pesi dinamico (machine learning) 2 Invarianza ai distrattori 3 Descrittore unico (colore, profondit`a, luminosit`a)1 [1] SURE: Surface Entropy for Distinctive 3D Features. Torsten Fiolka, J¨org St¨uckler, Dominik Alexander Klein, Dirk Schulz, and Sven Behnke. Spatial Cognition, volume 7463 of Lecture Notes in Computer Science, page 74-93. Springer, (2012). Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi
- 15. Sommario Introduzione Rappresentazione Implementazione Risultati Conclusioni Grazie per l’attenzione Candidato: Giacomo Picchiarelli Relatore: Prof. Paolo Valigi