Fingertip Detection

LOGO
Arif Akbarul Huda
S1 Final Project @ Elektronika dan
Insturmentasi FMIPA UGM - 2011
ALGORITMA DETEKSI
UJUNG JARI REAL-TIME
MENGGUNAKAN WEBCAM

LATAR BELAKANG
Teknologi masa depan berbasis
Teknologi Computer Vision

LATAR BELAKANG
 Perkembangan teknologi pada komputer
 Perkembangan teknologi computer vision pada sistem cerdas
 Mengembangkan teknologi computer vision di Indonsesia

LATAR BELAKANG
Deteksi ujung jari adalah bagian
kecil cara untuk mendukung
perkembangan teknologi berbasis
computer vision.
Algoritma deteksi ujung jari
difungksikan agar komputer bisa
mengetahui letak ujung jari
sebuah tangan.

Deteksi Ujung Jari dapat dimanfaatkan untuk
 Interaksi manusia dengan komputer
 Interaksi manusia dengan robot / sistem cerdas
 Interaksi manusia dengan tv interaktif masa depan
Algoritma ini dipakai untuk
menggerakkan kursor
LATAR BELAKANG

Merancang algoritma deteksi ujung
jari secara
 Real Time
 Akurat
 Cepat
TUJUAN

BATASAN
MASALAH
1. Latar belakang citra tidak bermotif atau polos.
2. Latar belakang memiliki kontras warna yang berbeda
dari warna kulit.
3. Membatasi area tangan dan lengan dengan
menggunakan baju lengan panjang.
4. Segmentasi citra dari webcam langsung diarahkan ke
tangan.

Landasan Teori
Suatu citra didefinisikan sebagai fungsi f(x,y) berukuran M
baris dan N kolom, dengan x dan y adalah koordinat
spasial dan nilai f di titik koordinat x,y dinamakan
intensitas atau tingkat keabuan dari citra tersebut.
Citra

Landasan Teori
Macam Citra Berdasar Ruang Warna
Citra Biner Citra Grayscale Citra RGB Citra YCbCr

Landasan Teori
Segmentasi Tangan Berdasarkan Warna Kulit
 Pada ruang warna YCbCr, warna kulit dihitung berdasar
kombinasi komponen krominan Cr dan Cb dari citra.
 Dengan metode Chai dan Ngan, warna kulit manusia
secara umum berada pada kisaran nilai
77< Cb < 127 dan 133 < Cr < 173
 Dalam rangka menyesuaikan warna kulit, Penulis
memodifikasi kisaran nilai diatas menjadi
133<Cr<153 dan 106<Cb<126

Landasan Teori
Segmentasi Tangan Berdasarkan Warna Kulit
Citra RGB
Citra YCbCr Threshold warna kulit
Citra Biner

Vektor
Landasan Teori
Vektor
Dot Product Cross Product

Tahapan umum
Rancangan
webcam
Frame
(masukan)
Smoothing
Konversi RGB ke
YCbCr
Segmentasi kulit
Deteksi Ujung
Jari
Penghilangan
Derau
Mengakses
kursor
Frame (keluaran)
Deteksi Ujung Jari

Rancangan
Metode Menentukan Ujung Jari
Misalkan kontur tangan disebut C mempunyai n titik dan setiap titik dinamakan
Ci maka titik yang disiapkan adalah Ci-k, Ci, dan Ci+k . Titik ini membentuk
pasangan vektor [Ci-k, Ci] dan [Ci ,Ci+k]. Kombinasi cross product dan dot
product pasangan vektor ini dipakai untuk menemukan letak ujung jari.
Dalam program ini, ujung jari ditentukan oleh sudut yang besarnya
200<sudut<500 dan mempunyai nilai hasil cross product positif.

mulai
Frame Biner
Menghitung jumlah objek
Mencari titik tengah
setiap objek
Memberi label pada
setiap objek
Memberi batas setiap
objek
C adalah batas objek
mempunyai n titik
piksel dan setiap titik
dinamakan Ci
Membuat vektor U[Ci-14, Ci]
dan V [Ci, Ci+14]
Menghitung sudut vektor U(i)
dan V(i) menggunakan operasi
dot product
Membuat vektor Z(i) dari vektor
U(i) dan V(i) menggunakan
cross product
Menampilkan
ujung jari
selesai
Rancangan
Flowchart algoritma deteksi ujung jari

Pengujian dan Hasil
No Nama Sampel
Jari
terbuka
Jumlah Jari
terdeteksi
Total waktu
(detik)
Kecepatan
rata-rata perframe
(detik/frame)
Akurasi (%)
1 Tangan 1 0 0 35,0532 0,3437 100
2 Tangan 2 1 2 35,0274 0,3434 0
3 Tangan 3 3 3 39,5190 0,3874 100
4 Tangan 4 5 5 39,8486 0,3907 100
5 Tangan 5 5 5 39,7236 0,3894 100
6 Tangan 6 0 0 35,0808 0,3439 100
7 Tangan 7 1 1 35,0497 0,3436 100
8 Tangan 8 3 3 35,1150 0,3443 100
9 Tangan 9 5 5 35,1476 0,3446 100
10 Tangan 10 5 5 34,9594 0,3427 100
11 Tangan 11 0 0 35,0252 0,3434 100
12 Tangan 12 1 1 31,8027 0,3118 100
13 Tangan 13 3 3 35,1706 0,3448 100
14 Tangan 14 5 5 35,0075 0,3432 100
15 Tangan 15 5 5 34,9195 0,3423 100
16 Tangan 16 0 0 30,5029 0,2990 100
17 Tangan 17 1 1 30,4576 0,2986 100
18 Tangan 18 3 3 30,6121 0,3031 100
19 Tangan 19 5 5 34,7454 0,3406 100
20 Tangan 20 5 4 34,6363 0,3396 80
21 Tangan 21 0 0 30,5630 0,2996 100
22 Tangan 22 1 1 30,6201 0,3062 100
23 Tangan 23 3 1 30,5873 0,2999 33
24 Tangan 24 5 2 30,5994 0,3030 40
25 Tangan 25 5 0 30,3878 0,2979 0
Rata-rata 34,0065 0,3339 86,12
Sampel.pdf

Pengujian dan Hasil
Hasil terbaik
(d) sampel Tangan 19
(a) sampel Tangan 10 (b) sampel Tangan 15
(c) sampel Tangan 16

Pengujian dan Hasil
Hasil Tercepat
Tampilan sampel tangan 25
Jarak +70cm dari webcam, tangan bergoyang, jari terbuka 5.
Kecepatan olah perframe 0,2979 detik/frame.
Namun sama sekali tidak mendeteksi ujung jari

Pengujian dan Hasil
Jarak +30cm dari webcam, tangan tidak bergoyang, jari terbuka 5.
Kecepatan olah perframe 0,3907 detik/frame.
Akurasi 100% mendeteksi ujung jari.
Hasil Terlama
Tampilan sampel tangan 4

Pengujian dan Hasil
Pada jarak berapapun,
Selama tangan tidak utuh berada didalam area
Hasil Kesalahan Deteksi

Pengujian dan Hasil
Tampilan saat menggerakkan kursor

1. Metode ini dapat mendeteksi ujung jari secara baik,
cepat dan akurat dengan akurasi 86,12% dari 25
sampel pengujian dan kecepatan rata-rata pemrosesan
paada tiap frame sebesar 0,3339 detik/frame.
2. Pada pencahayaan cukup terang, performa algoritma
deteksi ujung jari ini sangat bagus pada jarak tangan
dari webcam +40 - 60 cm dengan tingkat akurasi
100%.
3. Semakin banyak jari tangan yang dibuka, kecepatan
proses tiap frame akan menurun.
4. Akurasi dipengaruhi oleh keutuhan objek tangan dalam
satu frame, jarak tangan dari webcam serta gerakan
tangan.
Kesimpulan

Fingertip Detection

More Related Content

Similar to Fingertip Detection (20)

More from Arif Huda (20)

Fingertip Detection