file_2013-10-07_22_18_49_Junta_Zeniarja,_M.Kom,_M.CS__Sesi_1_-_Overview_DM.pptx
- 1. LOGO Data Mining Junta Zeniarja, M.Kom, M.CS junta@dsn.dinus.ac.id
- 2. Profil Nama : Junta Zeniarja, M.Kom, M.CS Alamat : Permata Tembalang, Dendronium 25 Kontak Phone : 085727181701 E-mail : junta@dsn.dinus.ac.id Room : D.2.F Pendidikan S1 => TI – UDINUS S2 => TI – UDINUS S2 => Computer Science UTeM (Universiti Teknikal Malaysia Melaka) Konsultasi - Sharing 1:00 pm – 3:00 pm, Senin, Selasa dan Kamis. Appointment via phone or e-mail preferred 2
- 3. Textbooks 3
- 4. Outline 1. Pengenalan Data Mining 2. Proses Data Mining 3. Evaluasi dan Validasi pada Data Mining 4. Metode dan Algoritma Data Mining 5. Penelitian Data Mining 4
- 7. The World of Data 7 7
- 8. 8
- 10. Data Rich, Information Poor 10
- 12. Data Integration & Analysis 12
- 13. From Data To Intelligence 13 Decision Models Data Mining Preprocessing Database Decision Support Knowledge Information Data
- 14. It is all about data … 14
- 15. Big Data 15
- 16. 16
- 19. Pengenalan Data Mining 1.Apa itu Data Mining? 2.Peran Utama Data Mining 3.Algoritma Data Mining
- 21. Mengapa Data Mining? Manusia dalam suatu organisasi, sadar atau tidak sadar telah memproduksi berbagai data yang jumlahnya sangat besar Contoh data: bisnis, kedokteran, ekonomi, geografi, olahraga, … Pada dasarnya, data adalah entitas yang tidak memiliki arti, meskipun kemungkinan memiliki nilai di dalamnya
- 22. Apa itu Data Mining? Disiplin ilmu yang mempelajari metode untuk mengekstrak pengetahuan atau menemukan pola dari suatu data 1. Data: fakta yang terekam dan tidak membawa arti 2. Pengetahuan: pola, aturan atau model yang muncul dari data Sehingga Data mining sering disebut Knowledge Discovery in Database (KDD) Konsep Transformasi DataInformasiPengetahuan
- 23. Data Tidak membawa arti, merupakan kumpulan dari fakta-fakta tentang suatu kejadian Suatu catatan terstruktur dari suatu transaksi Merupakan materi penting dalam membentuk informasi
- 24. Pengetahuan Gabungan dari suatu pengalaman, nilai, informasi kontekstual dan juga pandangan pakar yang memberikan suatu framework untuk mengevaluasi dan menciptakan pengalaman baru dan informasi (Thomas H. Davenport, Laurence Prusak) Bisa berupa solusi pemecahan suatu masalah, petunjuk suatu pekerjaan dan ini bisa ditingkatkan nilainya, dipelajari dan juga bisa diajarkan kepada yang lain
- 25. Data - Informasi – Pengetahuan Data Kehadiran Pegawai NIP TGL DATANG PULANG 1103 02/12/2004 07:20 15:40 1142 02/12/2004 07:45 15:33 1156 02/12/2004 07:51 16:00 1173 02/12/2004 08:00 15:15 1180 02/12/2004 07:01 16:31 1183 02/12/2004 07:49 17:00
- 26. Data - Informasi – Pengetahuan Informasi Akumulasi Bulanan Kehadiran Pegawai NIP Masuk Alpa Cuti Sakit Telat 1103 22 1142 18 2 2 1156 10 1 11 1173 12 5 5 1180 10 12
- 27. Data - Informasi – Pengetahuan Informasi Kondisi Kehadiran Mingguan Pegawai Senin Selasa Rabu Kamis Jumat Terlambat 7 0 1 0 5 Pulang Cepat 0 1 1 1 8 Izin 3 0 0 1 4 Alpa 1 0 2 0 2
- 28. Data - Informasi – Pengetahuan Pengetahuan tentang kebiasaan pegawai dalam jam datang/pulang kerja Pengetahuan tentang bagaimana teknik meningkatkan kehadiran pegawai kebijakan
- 29. Data - Informasi - Pengetahuan - Kebijakan Kebijakan penataan jam kerja karyawan khusus untuk hari senin dan jumat Peraturan jam kerja: Hari Senin dimulai jam 10:00 Hari Jumat diakhiri jam 14:00 Sisa jam kerja dikompensasi ke hari lain: 1. Senin pulang setelah maghrib, toh jalanan jakarta macet total di sore hari (bayar hutang 2 jam) 2. Rabu dan kamis bayar hutang setengah jam di pagi hari dan setengah jam di sore hari (bayar hutang 2 jam)
- 30. Definisi Data Mining Melakukan ekstraksi untuk mendapatkan informasi penting yang sifatnya implisit dan sebelumnya tidak diketahui, dari suatu data (Witten et al., 2011) Kegiatan yang meliputi pengumpulan, pemakaian data historis untuk menemukan keteraturan, pola dan hubungan dalam set data berukuran besar (Santosa, 2007)
- 31. Definisi Data Mining The analysis of (often large) observational data sets to find unsuspected relationships and to summarize the data in novel ways that are both understandable and useful to the data owner (Han & Kamber, 2001) The process of discovering meaningful new correlations, patterns and trends by sifting through large amounts of data stored in repositories, using pattern recognition technologies as well as statistical and mathematical techniques (Gartner Group)
- 32. Irisan Bidang Ilmu Data Mining 1. Statistik: Lebih bersifat teori Fokus ke pengujian hipotesis 2. Machine Learning: Lebih bersifat heuristik Fokus pada perbaikan performansi dari suatu teknik learning 3. Data Mining: Gabungan teori dan heuristik Fokus pada seluruh proses penemuan knowledge dan pola Termasuk data cleaning, learning dan visualisasi hasilnya
- 34. Peran Utama Data Mining 1. Estimation 2. Prediction 3. Classification 4. Clustering 5. Association Estimation Prediction Classification Clustering Association
- 35. Dataset with Attribute and Class Class/Label Attribute
- 36. Estimasi Waktu Pengiriman Pizza Custom er Jumlah Pesanan (P) Jumlah Bangjo (B) Jarak (J) Waktu Tempuh (T) 1 3 3 3 16 2 1 7 4 20 3 2 4 6 18 4 4 6 8 36 ... 1000 2 4 2 12 Waktu Tempuh (T) = 0.48P + 0.23B + 0.5J
- 37. Penentuan Kelulusan Mahasiswa NIM Gen der Nilai UN Asal Sekola h IPS 1 IPS 2 IPS 3 IPS 4 ... Lulus Tepat Waktu 10001 L 28 SMAN 2 3.3 3.6 2.8 9 2.9 Ya 10002 P 27 SMA DK 4.0 3.2 3.8 3.7 Tidak 10003 P 24 SMAN 1 2.7 3.4 4.0 3.5 Tidak 10004 L 26.4 SMAN 3 3.2 2.7 3.6 3.4 Ya ... ... 11000 L 23.4 SMAN 5 3.3 2.8 3.1 3.2 Ya
- 40. Algoritma Data Mining (DM) 1. Estimation (Estimasi): Linear Regression, Neural Network, Support Vector Machine, etc 2. Prediction/Forecasting (Prediksi/Peramalan): Linear Regression, Neural Network, Support Vector Machine, etc 3. Classification (Klasifikasi): Naive Bayes, K-Nearest Neighbor, C4.5, ID3, CART, Linear Discriminant Analysis, etc 4. Clustering (Klastering): K-Means, K-Medoids, Self-Organizing Map (SOM), Fuzzy C- Means, etc 5. Association (Asosiasi): FP-Growth, A Priori, etc
- 41. Metode Learning Pada Algoritma DM Supervised Learning Association Learning Unsupervised Learning
- 42. Metode Learning Pada Algoritma DM 1. Supervised Learning (Pembelajaran dengan Guru): Sebagian besar algoritma data mining (estimation, prediction/forecasting, classification) adalah supervised learning Variabel yang menjadi target/label/class ditentukan Algoritma melakukan proses belajar berdasarkan nilai dari variabel target yang terasosiasi dengan nilai dari variable prediktor
- 43. Dataset with Attribute and Class Class/Label Attribute
- 44. Metode Learning Pada Algoritma DM 2. Unsupervised Learning (Pembelajaran tanpa Guru): Algoritma data mining mencari pola dari semua variable (atribut) Variable (atribut) yang menjadi target/label/class tidak ditentukan (tidak ada) Algoritma clustering adalah algoritma unsupervised learning
- 45. Dataset with Attribute (No Class) Attribute
- 46. Metode Learning Pada Algoritma DM 3. Association Learning (Pembelajaran untuk Asosiasi Atribut) Proses learning pada algoritma asosiasi (association rule) agak berbeda karena tujuannya adalah untuk mencari atribut yang muncul bersamaan dalam satu transaksi Algoritma asosiasi biasanya untuk analisa transaksi belanja, dengan konsep utama adalah mencari “produk/item mana yang dibeli bersamaan” Pada pusat perbelanjaan banyak produk yang dijual, sehingga pencarian seluruh asosiasi produk memakan cost tinggi, karena sifatnya yang kombinatorial Algoritma association rule seperti apriori algorithm, dapat memecahkan masalah ini dengan efisien
- 49. Proses Utama pada Data Mining Input (Data) Metode (Algoritma Data Mining) Output (Pola/Model)
- 50. 1. Formula/Function (Rumus atau Fungsi Regresi) WAKTU TEMPUH = 0.48 + 0.6 JARAK + 0.34 LAMPU + 0.2 PESANAN 2. Decision Tree (Pohon Keputusan) 3. Rule (Aturan) IF ips3=2.8 THEN lulustepatwaktu 4. Cluster (Klaster) Output/Pola/Model/Knowledge
- 51. Input – Metode – Output – Evaluation Input (Data) Metode (Algoritma Data Mining) Output (Pola/Model) Evaluation (Akurasi, AUC, RMSE, etc)
- 52. Referensi 1. Ian H. Witten, Frank Eibe, Mark A. Hall, Data mining: Practical Machine Learning Tools and Techniques 3rd Edition, Elsevier, 2011 2. Santosa Budi, Teknik Pemanfaatan Data Untuk Keperluan Bisnis, Graha Ilmu, 2007 3. Slide Materi Romi Satrio Wahono (www.ilmukomputer.com)
- 53. 53
Editor's Notes
- #11: The global data supply reached 2.8 zettabytes (ZB) in 2012 - or 2.8 trillion GB - but just 0.5% of this is used for analysis, according to the Digital Universe Study. http://www.guardian.co.uk/news/datablog/2012/dec/19/big-data-study-digital-universe-global-volume