Lesson 10 - Evaluasi.ppt
- 1. Interaksi Manusia dan Komputer Evaluasi Oleh : ANISYA, S.KOM Teknik Informatika Fakultas Teknologi Informatika ITP 2013 Pertemuan 9
- 2. SUB TOPIK • Pengenalan evaluasi empiris • Perancangan eksperimen ( Hipotesa, Variabel, Rancangan dan Paradigma ) • Partisipasi, IRB dan Etika Pengumpulan Data • Analisa Data dan Interpretasi Hasil • Penggunaan Hasil Rancangan
- 3. • Evaluasi adalah suatu tes atas tingkat penggunaan dan fungsionalitas system yang dilakukan di dalam laboratorium, di lapangan, atau di dalam kolaborasi dengan pengguna. • Yang dievaluasi pada interaksi manusia dan komputer adalah desain dan implementasinya. Evaluasi
- 4. • Evaluasi empiris adalah proses penilaian dengan cara eksperimen, penelitian, atau observasi • Data empiris merupakan data yang diperoleh / ditemukan / disimpulkan dari sebuah eksperimen atau penelitian
- 5. • Perancangan eksperimen tidak lepas dari rancangan percobaan (dengan setipa langkah2 nya yang betul2 telah terdefinisikan) sedemikian rupa sehingga informasi yang berhubungan dengan / atau diperlukan untuk persoalan yang sedang diteliti dapat dikumpulkan. • Desain eksperimen = sebagai suatu pengujian atau serangkaian pengujian yang bertujuan untuk melakukan perubahan terhadap variabel-variabel input dari proses atau sistem sehingga dapat meneliti dan mengidentifikasi sebab perubahan dari output.
- 6. Mengapa? Memastikan kecocokan dengan permintaan pengguna/tujuan pengguna Untuk melihat apakah hasil rancangan dengan proses uji coba system yg telah dibuat sesuai dengan user
- 7. • Melihat seberapa jauh sistem berfungsi Desain system memungkinkan user melakukan tugas dgn lebih mudah • Melihat efek interface bagi pengguna Kemudahan utk mempelajari sistem, usability dan perilaku user. • Mengidentifikasi problem khusus yg terjadi pada sistem Tujuan Utama Evaluasi
- 8. Di mana evaluasinya? Di laboratorium Di tempat alami pengguna produk Kapan evaluasi? Produk sedang dalam pengerjaan Produk baru Perbaikan produk
- 9. Evaluasi empiris adalah proses penilaian dengan cara eksperimen, penelitian dan observasi. Evaluasi Empiris
- 10. Hipotesa • Merupakan prediksi yang dihasilkan dalam eksperimen. • Masih menggunakan variable independent dan dependent, dimana variasi di dalam independent variable akan menyebabkan perbedaan pada dependent variable. Perancangan Eksperimen
- 11. Variabel • Independent variabel karakter suatu eksperimen yang memanipulasi untuk menghasilkan kondisi yang berbeda sebagai perbandingan. contoh : jenis interface, level dari help, jumlah item menu dan perancangan icon. • Dependent variabel variabel yang dapat diukur dalam eksperimen. Contoh pada variabel independent adalah kecepatan dari pemilihan menu.
- 12. Rancangan 1. Between-Groups (Randomized) • Masing-masing subyek diberikan kondisi yang berbeda yakni kondisi eksperimen dan control. • Setiap user menghasilkan satu kondisi • pengaruh dari subyek banyak 2. Within-Groups • Setiap user akan menampilkan kondisi yang berbeda • Jumlah user yang tersedia lebih sedikit • Pengaruh dari subyek lebih sedikit
- 13. • “Quick and dirty” evaluation • Usability testing • Field studies • Predictive evaluation Paradigma evaluasi
- 14. Adalah umpan balik berupa keinginan dan yang disukai dari user atau konsultan yang disampaikan secara informal kepada desainer tentang produk yang dibuatnya “Quick and dirty” evaluation
- 15. Melibatkan pengukuran kinerja user dalam mempersiapkan tugasnya secara hati-hati, dari proses inilah maka dibuatkan desain sistemnya Usability testing
- 16. Berbeda dengan usability testing, evaluasi ini dilakukan di lingkungan asli dimana user bekerja, hal ini bertujuan untuk meningkatkan pemahaman tentang kerja user secara alami dan bagaimana teknologi tersebut berdampak padanya Field studies
- 17. Didasarkan pada pengalaman seorang ahli dalam menghadapi user, dan biasanya hal ini dijadikan patokan untuk memprediksi masalah-masalah penggunaan sebuah produk Predictive evaluation
- 18. Partisipasi Merupakan keikutsertaan, peranserta atau keterlibatan yang berkaitan dengan keadaaan. Bentuk partisipasi antara lain : - Partisipasi harta benda - Partisipasi tenaga - Partisipasi keterampilan Partisipasi, IRB dan Etika
- 19. IRB (Institutional Review Board) Merupakan sebuah kelembagaan dewan peninjau ( IRB ), juga dikenal sebagai komite etika independen atau dewan peninjau etik , adalah panitia yang telah ditunjuk secara resmi untuk menyetujui, memantau, dan meninjau biomedis dan perilaku penelitian yang melibatkan manusia.
- 20. Etika Etika evaluasi terdiri dari 4 hal, yaitu: a. Kerahasiaan hasil evaluasi b. Keamanan evaluasi c. Intepretasi hasil evaluasi d. Penggunaan evaluasi
- 21. 1) Teknik Observasi a) Think aloud Cara yang popular dalam mengumpulkan informasi dengan melihat interaksi user. b) Analisa Protokol c) Automatic protocol analysis tools EVA (Experimental Video Annotator) yaitu sistem prototipe yang berjalan pada multi-media workstation yang dihubungkan langsung ke video recorder. d) Post-task walkthroughs Terdapat beberapa keadaan yang menyebabkan subyek tidak dapat berbicara selama observasi sebenarnya seperti subyek sedang mengerjakan tugas yang sangat penting dan banyak. Pada keadaan ini post-task walkthroughs dapat melihat secara subyektif perilaku user. Teknik Pengumpulan Data
- 22. 2) Teknik Query a) Interview Meng-interview user tentang pengalaman mereka dengan sistem interaktif yang menyediakan informasi secara langsung dan terstruktur. b) Questionnaire Metode alternatif yang agak kurang fleksibel dibandingkan dengan interview tetapi dapat meraih subyek yang banyak dan membutuhkan waktu yang tidak lama. Terdapat beberapa jenis questionnaire yaitu General, Open-ended, Scalar, Multi-choice, Ranked.
- 23. 1. Kuesioner Kuesioner adalah daftar pertanyaan tertulis yang ditujukan kepada responden. Jawaban responden atas semua pertanyaan dalam kuesioner kemudian dicatat/direkam 2. Observasi Pengamatan melibatkan semua indera (penglihatan, pendengaran, penciuman, pembau, perasa). 3. Wawancara Pengambilan data melalui wawancara /secara lisan langsung dengan sumberdatanya, baik melalui tatap muka atau lewat telephone, teleconference. 4. Dokumen Pengambilan data melalui dokumen tertulis mamupun elektronik dari lembaga/institusi. Metode Pengumpulan Data
- 24. Analisis data adalah proses Penyederhanaan data ke dalam bentuk Yang lebih mudah dibaca dan Diinterpretasikan. Analisis dan interpretasi data diperlukan untuk merangkumkan apa yang telah diperoleh, menilai apakah data tersebut berbasis kenyataan, teliti, dan benar. Analisis dan interpretasi data juga diperlukan untuk memberi jawaban terhadap pertanyaan-pertanyaan yang diajukan. Analisa Data dan Interpretasi Hasil