IDSECCONF2024 - Muhammad Dwison - The Implementation Of One Pixel Attack To Save Captcha From Deep Learning.pdf
0 likes96 views
Dokumen ini membahas penerapan serangan satu piksel untuk menyelamatkan captcha dari pembelajaran mendalam dengan menggunakan berbagai jenis neural network. Evaluasi menunjukkan bahwa performa neural network menurun secara signifikan saat menerapkan serangan ini, dengan akurasi prediksi captcha menurun dari 97% menjadi 79% setelah serangan satu piksel. Kesimpulan menyatakan bahwa serangan satu piksel efektif dalam mengelabui neural network, dan disarankan untuk mengembangkan teknik pengelabuan lainnya.
IDSECCONF2024 - Muhammad Dwison - The Implementation Of One Pixel Attack To Save Captcha From Deep Learning.pdf
- 1. THE IMPLEMENTATION OF ONE PIXEL ATTACK TO SAVE CAPTCHA FROM DEEP LEARNING This Photo by Unknown Author is licensed under CC BY-SA
- 2. OUTLINE Pendahuluan Analisa Neural Network & One Pixel Attack Implementasi Hasil dan Pembahasan Penutup
- 6. Many Others Algorithm, Why CNN? Convolutional Neural Networks (CNN) Fully Convolutional Networks (FCN) Generative Adversarial Networks (GAN) Recurrent Neural Networks (RNN) + Long Short-Term Memory (LSTM)
- 13. Max Pooling
- 18. ONE PIXEL ATTACK
- 20. IMPLEMENTASI
- 21. TAHAPAN IMPLEMENTASI PREPROCESSING DATA (CAPTCHA) LEARNING MENGGUNAKAN NEURAL NETWORK PENERAPAN ONE PIXEL ATTACK EVALUASI PERFORMA NEURAL NETWORK
- 22. Preprocessing Data (CAPTCHA) Melakukan inisiasi variabel repositori input CAPTCHA Melakukan inisiasi variabel repositori output huruf dan angka Mengambil file CAPTCHA Melakukan labeling CAPTCHA sesuai nilainya Merubah color space CAPTCHA menjadi gray Membuat border pada CAPTCHA dengan ukuran (8, 8, 8, 8) pada setiap sisinya. Melakukan threshold pada CAPTCHA Mengenali tepian karakter per karakter pada CAPTCHA Mengurutkan karakter sesuai dengan urutan pada CAPTCHA Identifikasi nilai karakter sesuai dengan urutan Melakukan pemotongan dan menyimpan gambar per karakter
- 23. Learning menggunakan Neural Network Melakukan inisiasi variabel Membaca input gambar Mengubah ukuran gambar ke dalam ukuran fix (20, 20) Mengambil label dari gambar karakter yang diambil sebagai nama kelas (dependent value) Membagi data latih dan data uji (0,75 & 0,25) Merubah nama kelas ke dalam binary Membuat model Neural Network Melakukan learning model
- 24. Penerapan One Pixel Attack • Inisiasi library dan variabel • Menentukan koordinat piksel yang akan diubah • Menentukan nilai piksel yang akan diubah • Melakukan perturbasi sesuai dengan koordinat dan piksel yang ditentukan • Menyimpan gambar pada repositori tersendiri.
- 25. Evaluasi Performa Neural Network Melakukan inisiasi variabel atau objek Merubah color space CAPTCHA menjadi gray Melakukan threshold pada CAPTCHA Mengenali tepian karakter perkarakter pada CAPTCHA Mengurutkan karakter sesuai dengan urutan pada CAPTCHA Melakukan prediksi karakter sesuai dengan model Neural Network. Menilai tingkat akurasi antara prediksi dengan data aktual
- 28. SAMPEL (𝟐𝟔 + 𝟏𝟎)𝟒 = 𝟏. 𝟔𝟕𝟗. 𝟔𝟏𝟔 • 26 : Jumlah alphabet • 10 : Jumlah angka • 4 : kombinasi CAPTCHA
- 29. EXPLORE Data yang diambil berasal dari repositori Github; CAPTCHA merupakan CAPTCHA berbasis teks; CAPTCHA terdiri dari empat huruf; Repositori terdapat CAPTCHA sebanyak 9957 gambar. CAPTCHA merupakan gambar dengan ekstensi PNG (Portable Network Graphics); Ukuran CAPTCHA bervariasi mulai dari 814 bytes hingga yang paling besar, yaitu dua kilobytes; Rata-rata dimensi CAPTCHA adalah 72x24; Color Space CAPTCHA RGB dengan warna hanya hitam dan putih.
- 30. MODIFY
- 31. MODIFY
- 32. MODEL
- 35. Hasil Prediksi Nilai CAPTCHA tanpa One Pixel Attack
- 38. Hasil Prediksi Nilai CAPTCHA dengan One Pixel Attack
- 39. ASSESS (2 ONE PIXEL ATTACK) BENAR 8% SALAH 92% PERSENTASE
- 40. Hasil Prediksi Nilai CAPTCHA dengan 2 One Pixel Attack
- 43. PENUTUP KESIMPULAN ● CAPTCHA berbasis teks bisa diperoleh dari sumber terbuka ● Tahapan modifikasi CAPTCHA mampu menghasilkan performa yang baik terhadap Neural Network ● Penerapan one pixel attack pada CAPTCHA cukup efektid dalam mengelabui Neural Network SARAN ● Skema One Pixel Attack dapat diimplementasikan sebagai metode pengamanan CAPTCHA ● Mengembangkan teknik pengelabuan lainnya ● Terapkan dalam jenis CAPTCHA lainnya
- 44. Terima Kasih