2700 3 data preprocessing
1 like2,325 views
Dokumen ini membahas pentingnya data preprocessing untuk meningkatkan kualitas data sebelum data mining, dengan menjelaskan berbagai masalah yang ada dalam data seperti noise, ketidaklengkapan, dan inkonsistensi. Proses preprocessing mencakup data cleaning, integration, reduction, dan transformation untuk memastikan data yang digunakan akurat dan efektif. Berbagai fungsi dan metode data mining seperti klasifikasi, clustering, dan regresi juga dijelaskan sebagai bagian dari pengolahan data tersebut.
2700 3 data preprocessing
- 2. DATA Data yang ada pada umumnya: Banyak noise (error) Ukuran yang besar Dapat merupakan campuran dari berbagai sumber Memahami data sangat penting untuk preprocessing
- 3. DATA PREPROCESSING Data preprocessing menerangkan tipe-tipe proses yang melaksanakan data mentah untuk mempersiapkan proses prosedur yang lainnya Tujuannya adalah menstrasformasi data ke suatu format yang prosesnya lebih mudah dan efektif untuk kebutuhan pemakai
- 4. MENGAPA DATA PREPROCESSING? Data dalam dunia nyata “Kotor” Tidak lengkap: berisi data yang kosong/hilang cth: pekerjaan = “ ” Banyak “noise”: berisi data yang mengandung kesalahan cth: gaji =“-10” Tidak konsisten: berisi nilai yang berbeda dalam suatu kode atau nama cth: Umur =“40” tgl_lhr =“03/07/1997”
- 5. MENGAPA DATA KOTOR? Data yang tidak lengkap dapat disebabkan oleh: Tidak tersedia saat pengumpulan Tadinya dianggap tidak penting Masalah: Manusia/Soft/Hardware Data salah: Kesalahan alat pengumpul data Kesalahan manusia/komputer saat entri data Kesalahan saat pengiriman data Data yang tidak konsisten: Sumber data yang berbeda Duplikasi data juga perlu dibersihkan
- 6. MENGAPA DATA PREPROCESSING PENTING? Data yang tidak berkualitas akan menghasilkan kualitas mining yang tidak baik pula. Data Preprocessing, cleaning, dan transformasi merupakan pekerjaan mayoritas dalam aplikasi data mining (90%).
- 7. UKURAN KUALITAS DATA Accuracy Completeness Consistency Timeliness Believability Value added Interpretability Accessibility
- 8. MANFAAT DATA PREPROCESSING Mendapatkan hasil yang lebih akurat ƒPengurangan waktu komputasi untuk large scale problem. Membuat nilai data menjadi lebih kecil tanpa merubah informasi yang dikandungnya.
- 9. TEKNIK DATA PREPROESSING DATA CLEANING DATA INTEGRATION DATA REDUCTION DATA TRANSFORMATION
- 10. DATA CLEANING Proses untuk membersihkan data Teknik data cleaning: Memperkecil noise Membetulkan data yang tidak konsisten Mengisi nilai atribut yang kosong Mengidentifikasi atau membuang data yang tidak sesuai
- 11. DATA INTEGRATION Data yang sudah di cleaning, kemudian di integrasikan dalam satu database datawarehouse. Data dapat bersumber dari beberapa sumber Teknik: Analisis korelasi Atribut redudansi Duplikasi
- 12. DATA REDUCTION/SELECTION Data yang ada dalam database datawarehouse kemudian diseleksi untuk mendapatkan hasil yang akurat. Teknik: Dimensionality reduction Numerosity reduction Data compression
- 13. DATA TRANSFORMATION Tujuannya: diharapkan lebih efisien dalam proses data mining dan mungkin juga agar pola yang dihasilkan lebih mudah dipahami. Strategi: Smoothing Attribute (feature) construction Aggregation Normalization Discretization
- 15. FUNGSI-FUNGSI DATA MINING Assosiation, adalah proses untuk menemukan aturan assosiatif antara suatu kombinasi item dalam suatu waktu Sequence, proses untuk menemukan aturan assosiatif antara suatu kombinasi item dalam suatu waktu dan diterapkan lebih dari satu periode Clustering, adalah proses pengelompokan seumlah data/obyek ke dalam kelompok data sehingga setiap kelompok berisi data yang mirip Classification, proses penemuan model atau fungsi yang menjelaskan atau membedakan konsep atau kelas data, dengan tujuan untuk dapat memperkirakan kelas dari suatu objek yang labelnya tidak diketahui.
- 16. FUNGSI-FUNGSI DATA MINING Regretion, adalah proses pemetaan data dalam suatu nilai prediksi Forecasting, adalah proses pengestimasian nilai prediksi berdasarkan pola-pola di dalam sekumpulan data. Solution, adalah proses penemuan akar masalah dan problem solving dari persoalan bisnis yang dihadapkai atau paling tidak sebagai informasi dalam pengambilan keputusan.
- 17. METODE DATA MINING 1. Classification 2. Predictive Modeling 3. Association 4. Regression 5. Clustering 6. Forecasting 7. Sequence Analysis 8. Anomaly Detection