SlideShare a Scribd company logo
Μάριος-Φώτιος Μπίκος
Επιβλέπων:
Δυναμική Προσομοίωση Εικονικών
Αντικειμένων για Εφαρμογές
Επαυξημένης Πραγματικότητας.
Κωνσταντίνος Μουστάκας
Διπλωματική Εργασία
Εφαρμογή σε Σκάκι
Επαυξημένης Πραγματικότητας
Ιούλιος 2015
Teaser
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 2
Video από την Meta Co.
PROMOPROMO
Επαυξημένη Πραγματικότητα
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 3
ΠραγματικόςΠραγματικός
ΚόσμοςΚόσμος
ΨηφιακήΨηφιακή
ΠληροφορίαΠληροφορία
Αλληλεπίδραση
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 4
Πρόβλημα
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 5
Ο χειρισμός εικονικών αντικειμένων με
γυμνά χέρια είναι πολύπλοκη διαδικασία…
…ιδιαίτερα σε ένα σκάκι
επαυξημένης πραγματικότητας!
Θεωρητικό Υπόβαθρο
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 6
Παράμετροι Κάμερας
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 7
Extrinsics
Intrinsics
Βαθμονόμηση - Calibration
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 8
Offline Διαδικασία Εύρεσης Intrinsics
Markers σε Γάντι Marker Props
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 9
Σχετικές Ερευνητικές Εργασίες
“FingARtips – Gesture Based Direct Manipulation in
Augmented Reality”
2nd International conference on
Computer graphics and interactive techniques -2004
“Virtual object manipulation on a table-top AR environment”
IEEE and ACM International Symposium on Augmented
Reality-2000
Cube-Marker Pen Marker Glove &
Retroreflective Spheres
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 10
Σχετικές Ερευνητικές Εργασίες
“Mobile collaborative augmented reality”
IEEE and ACM International Symposium
on Augmented Reality-2001
“Finger tracking for interaction in augmented environments”
IEEE and ACM International Symposium
on Augmented Reality-2001
Σχετικές Ερευνητικές Εργασίες
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 11
Κάμερα Βάθους για την
δημιουργία 3D
μοντέλου χεριών
Η Εφαρμογή
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 12
Εργαλεία & Τεχνολογίες
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 13
IR
Sensor
Color
Sensor
IR Laser
Projector
First-Person View
Εργαλεία & Τεχνολογίες
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 14
• Αξιοποίηση βασικών αλγορίθμων όρασης
• Χρήση βασικών δομών(π.χ Mat)
• Ανίχνευση markerboards
• Εύκολος συνδυασμός με OpenGL
• Πρόσβαση στα δεδομένα των αισθητήρων
• Εξαγωγή Blobs / Contours
• 3D Models / Αnimations
• Aπεικόνιση επαυξημένης σκηνής
• Επικοινωνία με εκτελέσιμα αρχεία
μηχανής σκακιού
Πρόβλημα
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 15
• Πιόνια = Ορατά συνεχώς
• Απόκρυψη σκακιέρας με τα χέρια
- Δυσκολότερο να χαθούν
όλα την ίδια στιμή
- Περισσότερα σημεία διαθέσιμα για
εκτίμηση πόζας κάμερας
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 16
Board of Markers=Μarkerboard
Robustness
Markerboard
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 17
8 x 8 MarkerBoard  64 Markers
Blobs & Contours
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 18
Blob = Σχήμα που αναγνωρίζεται σε μία εικόνα και
αναπαριστά ένα συγκεκριμένο αντικείμενο.
Αναγνώριση Χειρονομίας Pinch
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 19
Διάγραμμα Διαδικασίας
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 20
3D Θέση της Xειρονομίας
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 21
..
Inner Contour
(Hole)
Outer Contour
RGB Image Blob Image
Average X,Y
MappedMapped
neighborhoodneighborhood
of pixelsof pixels
..
.
.
Neighborhood
of Points
Average Z depth3D Position3D Position
MapDepthMapDepth
ToColorToColor
MapDepthMapDepth
ToColorToColor
Xcam,Ycam
Γράφουμε στο Z-Buffer της OpenGL, τις τιμές βάθους
για κάθε pixel που παίρνουμε από τον αισθητήρα
(ανάλογα με την προβολή)
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 22
Occlusion Handling
Occlusion Handling
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 23
Μηχανή Σκακιού
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 24
Universal Chess Interface (UCI)
• Έξοδος: Κίνηση
Αντιπάλου
• Είσοδος: Κίνηση
Χρήστη
Πρωτόκολλο Επικοινωνίας
με μηχανή σκακιού
=
Πειραματική Εγκατάσταση
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 25
Αξιολόγηση Συστήματος
System Usability Scale - SUS
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 26
System Usability Scale - SUS
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 27
Λάθη Κινήσεων
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 28
Σύγκριση Μεγεθών Αξιολόγησης
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 29
Participant # Time per Task (sec)
Tasks Completed
(of 30)
Time % Tasks % SUS Rating % Average
1 2,99 25 83% 83% 75% 81%
2 4,23 25 59% 83% 55% 66%
3 3,05 16 82% 53% 80% 72%
4 4,94 25 50% 83% 92,5% 75%
5 3,49 25 71% 83% 80% 78%
6 5,64 22 44% 73% 67,5% 62%
7 2,49 18 100% 60% 75% 78%
8 4,66 28 53% 93% 60% 69%
9 2,74 28 91% 93% 70% 85%
10 3,00 26 83% 87% 77,5% 82%
Averages 3,7233,723 23,8 72% 79% 73.25% 75%
Μειονεκτήματα
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 30
Λάθη Κινήσεων
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 31
Remember This?
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 32
Video από την Meta Co.
PROMOPROMO
Μελλοντικές Επεκτάσεις
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 33
3D Models Attack Animations
Depth Perception Pawn Promotion
Μελλοντικές Επεκτάσεις
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 34
Συνδυασμός Αισθητήρα+Oculus Rift
Δημοσίευση
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 35
7 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 36

More Related Content

PPT
листая страницы истории школы
PDF
Drupalcamp Nantes - Open layers
PPTX
Business processes in the cloud
DOCX
רשות השידור
PPT
Islamic solution for mitigation of climate change
PPTX
Good and evil
DOC
Pankaj Kumar_Testing
PDF
Centre for Agriculture and Rural Development :Old Profile
листая страницы истории школы
Drupalcamp Nantes - Open layers
Business processes in the cloud
רשות השידור
Islamic solution for mitigation of climate change
Good and evil
Pankaj Kumar_Testing
Centre for Agriculture and Rural Development :Old Profile

Viewers also liked (6)

PPTX
Портфолио Общеобразовательной школы №10
PPTX
Leveraging DBpedia for Adaptive Crowdsourcing in Linked Data Quality Assessment
PPTX
опыт работы шпнмк учителей естественно математического цикла
PPT
Noise Pollution
PDF
Spark Summit EU Supporting Spark (Brussels 2016)
PPT
Ecostrategic Education for Transition to Post Oil Age
Портфолио Общеобразовательной школы №10
Leveraging DBpedia for Adaptive Crowdsourcing in Linked Data Quality Assessment
опыт работы шпнмк учителей естественно математического цикла
Noise Pollution
Spark Summit EU Supporting Spark (Brussels 2016)
Ecostrategic Education for Transition to Post Oil Age
Ad

More from Marios Bikos (20)

PPTX
MSc Thesis: VR for the Study of Moral Dilemmas involving Driverless Cars
PPTX
Mobile Augmented Reality
PPTX
E.B.E.C 2014 - Team Greece - Day 4 Case Study
PPTX
E.B.E.C 2014 - Team Greece - Day 3 Case Study
PPTX
E.B.E.C 2014 - Team Greece - Day 2 Case Study
PPTX
E.B.E.C 2014 - Team Greece - Day 1 Case Study
PDF
Haptic Interaction in Mixed Environments and Virtual Reality
PPTX
Συναισθηματική Διάσταση στα Video Games-Project SIREN
PDF
Tεχνητή Νοημοσύνη για αυτόνομους χαρακτήρες σε Video Games
PPT
Games2Gaze-Rottenfishgames-Games Expo 2012
PPT
Games expo patra
PDF
MMO Games:Εξερευνώντας το δυναμικό τους για την υποστήριξη της μάθησης
PDF
"Results of Basic and Applied Research of the Artificial Intelligence Group o...
PDF
"Introduction to Human-Computer Interaction" and Applications ",Prof..N.Avouris
PPTX
Creating a Resume and a Cover Letter
PDF
1st Newsletter
PPTX
IEEE-Upatras corallia
PPT
IEEE-Upatras Power&Energy Chapter
PPT
IEEE-Upatras Επιχειρηματικότητα&Νέοι-Δ.Τσίγκος
PPT
IEEE-Upatras Workshop Πώς να γράφετε Paper
MSc Thesis: VR for the Study of Moral Dilemmas involving Driverless Cars
Mobile Augmented Reality
E.B.E.C 2014 - Team Greece - Day 4 Case Study
E.B.E.C 2014 - Team Greece - Day 3 Case Study
E.B.E.C 2014 - Team Greece - Day 2 Case Study
E.B.E.C 2014 - Team Greece - Day 1 Case Study
Haptic Interaction in Mixed Environments and Virtual Reality
Συναισθηματική Διάσταση στα Video Games-Project SIREN
Tεχνητή Νοημοσύνη για αυτόνομους χαρακτήρες σε Video Games
Games2Gaze-Rottenfishgames-Games Expo 2012
Games expo patra
MMO Games:Εξερευνώντας το δυναμικό τους για την υποστήριξη της μάθησης
"Results of Basic and Applied Research of the Artificial Intelligence Group o...
"Introduction to Human-Computer Interaction" and Applications ",Prof..N.Avouris
Creating a Resume and a Cover Letter
1st Newsletter
IEEE-Upatras corallia
IEEE-Upatras Power&Energy Chapter
IEEE-Upatras Επιχειρηματικότητα&Νέοι-Δ.Τσίγκος
IEEE-Upatras Workshop Πώς να γράφετε Paper
Ad

Dynamic Simulation of Virtual Objects for AR Applications. Development of an AR Chess.

  • 1. Μάριος-Φώτιος Μπίκος Επιβλέπων: Δυναμική Προσομοίωση Εικονικών Αντικειμένων για Εφαρμογές Επαυξημένης Πραγματικότητας. Κωνσταντίνος Μουστάκας Διπλωματική Εργασία Εφαρμογή σε Σκάκι Επαυξημένης Πραγματικότητας Ιούλιος 2015
  • 2. Teaser 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 2 Video από την Meta Co. PROMOPROMO
  • 3. Επαυξημένη Πραγματικότητα 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 3 ΠραγματικόςΠραγματικός ΚόσμοςΚόσμος ΨηφιακήΨηφιακή ΠληροφορίαΠληροφορία
  • 4. Αλληλεπίδραση 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 4
  • 5. Πρόβλημα 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 5 Ο χειρισμός εικονικών αντικειμένων με γυμνά χέρια είναι πολύπλοκη διαδικασία… …ιδιαίτερα σε ένα σκάκι επαυξημένης πραγματικότητας!
  • 6. Θεωρητικό Υπόβαθρο 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 6
  • 7. Παράμετροι Κάμερας 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 7 Extrinsics Intrinsics
  • 8. Βαθμονόμηση - Calibration 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 8 Offline Διαδικασία Εύρεσης Intrinsics
  • 9. Markers σε Γάντι Marker Props 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 9 Σχετικές Ερευνητικές Εργασίες “FingARtips – Gesture Based Direct Manipulation in Augmented Reality” 2nd International conference on Computer graphics and interactive techniques -2004 “Virtual object manipulation on a table-top AR environment” IEEE and ACM International Symposium on Augmented Reality-2000
  • 10. Cube-Marker Pen Marker Glove & Retroreflective Spheres 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 10 Σχετικές Ερευνητικές Εργασίες “Mobile collaborative augmented reality” IEEE and ACM International Symposium on Augmented Reality-2001 “Finger tracking for interaction in augmented environments” IEEE and ACM International Symposium on Augmented Reality-2001
  • 11. Σχετικές Ερευνητικές Εργασίες 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 11 Κάμερα Βάθους για την δημιουργία 3D μοντέλου χεριών
  • 12. Η Εφαρμογή 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 12
  • 13. Εργαλεία & Τεχνολογίες 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 13 IR Sensor Color Sensor IR Laser Projector First-Person View
  • 14. Εργαλεία & Τεχνολογίες 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 14 • Αξιοποίηση βασικών αλγορίθμων όρασης • Χρήση βασικών δομών(π.χ Mat) • Ανίχνευση markerboards • Εύκολος συνδυασμός με OpenGL • Πρόσβαση στα δεδομένα των αισθητήρων • Εξαγωγή Blobs / Contours • 3D Models / Αnimations • Aπεικόνιση επαυξημένης σκηνής • Επικοινωνία με εκτελέσιμα αρχεία μηχανής σκακιού
  • 15. Πρόβλημα 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 15 • Πιόνια = Ορατά συνεχώς • Απόκρυψη σκακιέρας με τα χέρια
  • 16. - Δυσκολότερο να χαθούν όλα την ίδια στιμή - Περισσότερα σημεία διαθέσιμα για εκτίμηση πόζας κάμερας 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 16 Board of Markers=Μarkerboard Robustness
  • 17. Markerboard 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 17 8 x 8 MarkerBoard  64 Markers
  • 18. Blobs & Contours 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 18 Blob = Σχήμα που αναγνωρίζεται σε μία εικόνα και αναπαριστά ένα συγκεκριμένο αντικείμενο.
  • 19. Αναγνώριση Χειρονομίας Pinch 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 19
  • 20. Διάγραμμα Διαδικασίας 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 20
  • 21. 3D Θέση της Xειρονομίας 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 21 .. Inner Contour (Hole) Outer Contour RGB Image Blob Image Average X,Y MappedMapped neighborhoodneighborhood of pixelsof pixels .. . . Neighborhood of Points Average Z depth3D Position3D Position MapDepthMapDepth ToColorToColor MapDepthMapDepth ToColorToColor Xcam,Ycam
  • 22. Γράφουμε στο Z-Buffer της OpenGL, τις τιμές βάθους για κάθε pixel που παίρνουμε από τον αισθητήρα (ανάλογα με την προβολή) 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 22 Occlusion Handling
  • 23. Occlusion Handling 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 23
  • 24. Μηχανή Σκακιού 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 24 Universal Chess Interface (UCI) • Έξοδος: Κίνηση Αντιπάλου • Είσοδος: Κίνηση Χρήστη Πρωτόκολλο Επικοινωνίας με μηχανή σκακιού =
  • 25. Πειραματική Εγκατάσταση 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 25 Αξιολόγηση Συστήματος
  • 26. System Usability Scale - SUS 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 26
  • 27. System Usability Scale - SUS 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 27
  • 28. Λάθη Κινήσεων 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 28
  • 29. Σύγκριση Μεγεθών Αξιολόγησης 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 29 Participant # Time per Task (sec) Tasks Completed (of 30) Time % Tasks % SUS Rating % Average 1 2,99 25 83% 83% 75% 81% 2 4,23 25 59% 83% 55% 66% 3 3,05 16 82% 53% 80% 72% 4 4,94 25 50% 83% 92,5% 75% 5 3,49 25 71% 83% 80% 78% 6 5,64 22 44% 73% 67,5% 62% 7 2,49 18 100% 60% 75% 78% 8 4,66 28 53% 93% 60% 69% 9 2,74 28 91% 93% 70% 85% 10 3,00 26 83% 87% 77,5% 82% Averages 3,7233,723 23,8 72% 79% 73.25% 75%
  • 30. Μειονεκτήματα 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 30
  • 31. Λάθη Κινήσεων 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 31
  • 32. Remember This? 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 32 Video από την Meta Co. PROMOPROMO
  • 33. Μελλοντικές Επεκτάσεις 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 33 3D Models Attack Animations Depth Perception Pawn Promotion
  • 34. Μελλοντικές Επεκτάσεις 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 34 Συνδυασμός Αισθητήρα+Oculus Rift
  • 35. Δημοσίευση 8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 35
  • 36. 7 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 36