Nui for real
Download as PPTX, PDF0 likes1,071 views
Il documento discute l'esperienza personale dell'autore con Kinect, computer vision e 3D, descrivendo l'uso di librerie come AForge e EmguCV. Vengono analizzate le capacità del Kinect, quali il riconoscimento di giocatori e gesti, e si evidenziano vari aspetti tecnici riguardanti lo sviluppo in XNA. Infine, viene menzionato il passaggio a strumenti più recenti come DirectXTK e MonoGame.
Nui for real
- 1. (N)UI FOR REAL La mia esperienza con Kinect, 3D e computer vision
- 2. LA RICHIESTA Tracciare la scelta degli utenti Esperienza breve Qualcosa di diverso
- 3. COSA HO USATO Computer Vision Kinect XNA per il 3D
- 4. DEMO
- 5. COMPUTER VISION Lo scopo principale della visione artificiale è quello di riprodurre la vista umana. Vedere è inteso non solo come l'acquisizione di una fotografia bidimensionale di un'area, ma soprattutto come l'interpretazione del contenuto di quell'area.
- 6. LIBRERIE CHE HO VALUTATO AForge.NET http://www.aforgenet.com Hanno implementato loro le funzionalità Usa DirectShow per la webcam Supporta i Lego Mind Storm EmguCV http://www.emgu.com Wrap di openCV Compila sotto Mono Performance migliori con la versioni commerciali (IPP, TBB)
- 7. COSA SI PUÒ FARE Object detection Face detection Motion detection Riconoscimento dei segnali stradali
- 8. HO VALUTATO ANCHE IL FACE RECOGNITION L’idea Fotografia prima di usare il totem Il totem riconosce l’utilizzatore Problemi Le foto dovevano essere fatte precise Troppa variazione di luce non permette un riconoscimento accurato
- 9. KINECT
- 10. COSA PERMETTE DI FARE Riconosce 2 giocatori Distanza da 1.5 mt a 3mt Rileva 20 nodi per ogni scheletro Riconoscimento vocale Near mode (40 cm)
- 11. PROBLEMI La distanza dell’utente non deve cambiare Le coordinate sono -guatda.com/cmx.p1...0…1 Altezze diverse del giocatore I gesti vanno creati e gestiti Non ci deve essere ressa intorno al giocatore
- 12. IL NUOVO SDK 1.7 Aggiunte due nuove gesture. «Push» e «Grip» Cambiata la «Human Interface Guidelines». Adesso si usa «Push» Ci dice direttamente lui se la mano è aperta o meno Aperto il segnale del laser (1.6) Aggiunto Kinect Fusion
- 13. XNA E 3D Son tutti triangoli
- 14. A COSA FARE ATTENZIONE Cercare di non aprire troppi spriteBatch.Begin() Numero di poligoni dei modelli Back-face culling. Gli shader giusti sulle varie mesh dei modelli
- 15. NUMERO POLIGONI
- 17. HIGH LEVEL SHADER LANGUAGE Deriva dal C Nato come progetto congiunto tra NVIDIA e Microsoft Poi han litigato :/ Viene trasformato in assembler e sparato direttamente alla scheda video XNA li pilota tramite gli «Effect» con cui gli passiamo i parametri Per ogni gruppo di mesh possiamo applicare diversi shader (era tutto in tedesco e diverso per ogni auto. YAY!)
- 18. COLLISIONI Collisioni in 2D è l’intersezione tra le due immagini Collisioni in 3D si fanno con Bounding Box e Bounding Sphere
- 19. XNA È MORTO C++ DirectXTK (http://directxtk.codeplex.com) DirectX Tex (http://directxtex.codeplex.com) C# MonoGame (http://monogame.codeplex.com)
- 20. LIBRI DEL WEEKEND Learning XNA 4.0 Learning OpenCV
- 21. GRAZIE! bettercoderwannabe.blogspot.com github.com/iridio @collaalessandro