LPR Week 1-KEMASTURA Group-2023.Data Analytics
- 1. Data Science Batch 21 KEMASUTRA Abu; Cecep; Damas; Luthfi
- 2. Introduction to Data Science & Data Science Methodology KEMASUTRA
- 3. “Data Science? Skill mengekstraksi volume data yang besar dan terus meningkat.” Data science mencakup penyiapan data untuk analisis dan pemrosesan, melakukan analisis data tingkat lanjut, dan menyajikan hasil untuk mengungkapkan pola dan memungkinkan pemangku kepentingan untuk menarik kesimpulan berdasarkan informasi Pengenalan Data Science Profesi Data Science adalah Data Scientist
- 4. Seseorang yang ahli dengan data, mengurus dan mengolah data untuk menjadi informasi yang berguna. Seorang data scientist bekerja dekat dengan tim IT dan bisnis untuk membantu menyelesaikan masalah complex dan mengambil keputusan Data Scientist? Pengenalan Data Science Data Scientist mengolah berbagai bentuk data seperti tabular, gambar, text, video, audio, dll
- 5. Hasil Pekerjaan Data Scientist Data Scientist Decision Support Scoring Recommendation Classification Forecasting Detection Secara umum, Data Scientist adalah orang yang bertugas mengolah data di perusahaan yang bertujuan mendapatkan informasi berupa insight yang berguna. Oleh karena itu diperlukan skill analisis yang kuat, pemahaman akan data yang baik, serta kemampuan dalam mengkomunikasikan hasil temuan. Output job data scientist sebagai berikut:
- 6. Hard Skills & Soft Skills Keterampilan Data Scietist 1. Statistika & Peluang 2. Pemrograman (phyton & R) 3. Data Wrangling 4. Database Management (MySQL, SQL Server, Oracle, dll) 5. Data Storytelling 6. Bisnis 7. Tools untuk data scientist (Apache Spark, IBM SPSS, Matlab, PyTorch, SAS) 1. Mau Belajar 2. Komunikasi 3. Kerja Sama
- 7. "Percepatan ekonomi digital membutuhkan sokongan lebih banyak digital talent. Kita perlu lebih banyak software developer, product designer, dan dukungan content creator sebanyak-banyaknya. Karena itu, pengembangan SDM IT tidak bisa ditunda-tunda lagi,“ Jokowi
- 8. Why you should learn about Data Science?
- 9. Why Data Scientist Data is the new oil
- 10. Data practitioner & Data Analytics Data Analytics (DA) merupakan proses inspeksi serangkaian data yang berguna untuk mendapatkan kesimpulan dari informasidata yang ada. Tipe-Tipe: AnalisaDeskriptif, Diagnosis, Prediktif, Preskriptif. PeranData Scientist : •Menguak makna dari jumlah data yang besar. •Mencari pola dari data. •Menyampaikan informasi data. •Menggunakan advanced ML untuk pemodelan. •Menginterpretasikan analisis data.
- 11. Framework Data Science Methodology Adalah Proses yang digunakan untuk memandu seseorang Data Scientist dalam mengolah data demi menemukan solusi untuk masalah tertentu Tujuannya adalah untuk membantu pemecahan masalah, mempermudah penyampaian hasil pengolahan dan membantu merencanakan pekerjaan Salah satu framework Data Science Metodologi yang umun digunakan hampir kebanyakan Data Scientist adalah CRISP-DM singkatan dari CROSS-INDUSTRY STANDARD PROCESS FOR DATA MINING Business Understanding Analytic Approach Data Requirements Data Collection Data Understanding Data Preparation Modelling Evaluation Deployment Feedback
- 12. Data Science Methodology Business Understanding Pemahaman Bisnis & Permasalahan yang coba di selesaikan - Objective yang ingin di capai. - Apa saja yang bisa mendukung tujuan yang ingin di capai tersebut. - Mengapa hal tersebut penting untuk di lakukan. Analytic Approach Penggunaan Data untuk menjawab pertanyaan - Pemilihan Pendekatan analitik sesuai dengan pertanyaan - Pemilihan pendekatan analitik sesuai dengan kebutuhan bisnis Data Requirements Mengidentifikasi semua sumber data yang diperlukan - Data apa yang diperlukan . - Bagaimana cara mengumpulkan data . - Bagaimana memahami alur kerja. - Bagaimana mempersiapkan data untuk memenuhi hasil yang diinginkan Data Collection Penggunaan Data untuk menjawab pertanyaan - Data yang dikumpulkan harus divalidasi, apakah sudah relevan dengan masalah yang akan diselesaikan. Keputusan dalam menentukan jumlah data yg dibutuhkan Data Understanding - Apakah data yang dikumpulkan sudah sesuai dengan masalah yang akan di selesaikan. - Apakah ada nilai yang hilang atau tidak dari data yang dikumpulkan. Proses membangun kumpulan data Data Preparation - Transformasi Data. - Rekayasa fitur Proses pembuatan fitur sebelum data dimodelkan & mempersiapkan fitur yang dapat membantu memecahkan masalah
- 13. Data Science Methodology Modelling Pengembangan model bersifat prediktif atau deskriptif - Model Prediktif : Ya / tidak (klasifikasi) atau prediksi nilai (regresi). - Model-model ini didasarkan pada pendekatan analitik berdasarkan prinsip statistik atau machine learning. Evaluation Penggunaan Data untuk menjawab pertanyaan - Apakah model yang digunakan dapat membuat prediksi dengan akurat untuk menjawab permasalahan bisnis Deployment Dilakukan selama pengembangan model sebelum di deploy, untuk memeriksa apakah kualitas model tersebut sudah memenuhi jawaban pertanyaan - Melakukan pengujian akhir model. - Apa bila lolos pengujian, maka model akan siap di produksi dan akan di deploy pada production environment. Implementasi dan pengujian akhir secara langsung Feedback Input tentang kinerja model dari user - Penyempurnaan model dan meningkatkan akurasi kegunaannya berdasarkan input dari user
- 14. Introduction to Data & Database KEMASUTRA
- 15. Menurut KBBI, Data merupakan keterangan atau bahan nyata yang dapat dijadikan dasar kajian (analisis atau kesimpulan). Menurut Oxford Dictionary, Datum is the singular form of Data Data used as plural noun which mean facts or information, especially when examined and used to find out things or to make decisions. Pengertian Data
- 16. Source: www.phpkb.com Piramida Data menggambarkan tahapan terbentuknya suatu pengetahuan. Data Kumpulan angka, fakta, objek yang belum memiliki arti karena belum adanya struktur. Informasi Pembentukan data untuk memiliki arti melalui pengkategorian, kontekstual, dan perhitungan. Pengetahuan Akumulasi informasi yang betransformasi menjadi tindakan yang harus dilakukan dalam pengambilan keputusan Data Pyramid
- 17. DATA Sifat Sumber Cara Memperoleh Data Kualitatif Mendeskripsikan informasi yang tidak bisa diukur. Contoh: gambar, simbol, dan nama. Data Kuantitatif Merujuk pada informasi yang bisa dihitung atau diukur. Contoh: angka dan nilai. Data Internal Pengumpulan data yang didapatkan langsung. Contoh: Survei, Observasi, Interview. Data Eksternal Pengumpulan data yang didapatkan oleh orang lain. Contoh: Publikasi, Jurnal, Websites. Data Primer Pengambilan data yang berasal dari dalam organisasi atau perusahaan. Contoh: Customer, Order, & Supplier. Data Sekunder Pengambilan data yang berasal dari luar organisasi. Contoh: Inflation, PDB Growth Jenis-Jenis Data
- 18. Source: www.phpkb.com ➢Definisi Database adalah kumpulan terorganisir dari data terkait, atau informasi, yang disimpan dan diakses secara elektronik dalam sistem komputer. ➢Karakter Well-organized Berelasi Dapat diakses sesuai perintah Disimpan Basis Data (Database)
- 19. Availability Speed Completeness Security & Accuracy Storage Efficiency ketersediaan berarti bahwa jika database tersedia, pengguna datanya—yaitu, aplikasi, pelanggan, dan pengguna bisnis—dapat mengaksesnya tingkat ke semua data yang diperlukan tersedia dalam dataset. Perlindungan data terhadap akses tidak sah atau korupsi dan diperlukan untuk memastikan integritas data. Selain itu, definisinya hanya untuk validitas dan keakuratan data daripada tindakan melindungi data. kemampuan untuk menyimpan dan mengelola data yang menghabiskan paling sedikit ruang dengan sedikit atau tanpa dampak pada kinerja; menghasilkan total biaya operasional yang lebih rendah Pengguna saat mengakses basis data dapat menerima atau memproses secara cepat dan mudah Fungsi dan Tujuan Basis Data
- 20. ➢Schema “blueprint" database yang menjelaskan bagaimana data dapat berhubungan dengan tabel lain atau model data lainnya. ➢Table struktur yang mengatur data ke dalam baris dan kolom dengan membentuk grid. ➢Column rangkaian sel vertikal dalam bagan, tabel, atau spreadsheet. ➢Row serangkaian bank data yang diletakkan secara horizontal dalam tabel atau spreadsheet. ➢Value Perwujudan dalam bentuk angka dalam sebuah kolom atau table. Struktur Basis Data
- 21. Menurut IBM, DBMS adalah software yang didesain untuk menyimpan, mengambil, dan mengatur data dalam sebuah system. Penggunaan DBMS: • Industri Banking: Database transaksi • Universitas: Pendaftaran dan penilaian • Bidang Penjualan: Customers, products, & purchases. • Industri Manufaktur: Produksi, rantai pasokan, & inventory Database Management System (DBMS)
- 22. Pengaturan data untuk melindungi data dari pemeliharaan, modifikasi, atau perubahan yang tidak tepat. Termasuk keaslian data. Data Integrity Management Pemulihan DBMS jika terjadi kehilangan data yang biasanya memengaruhi penyimpanan, transmisi, atau pemrosesan untuk menghindari kehilangan data Backup & Recovery Pengelolaan untuk memastikan bahwa banyak pengguna dapat mengakses database secara bersamaan tanpa mengorbankan integritas database. Multi User Access Control User interface yang memungkinkan kemampuan untuk memasukkan query ke database tanpa menggunakan query itu sendiri. Database Communication Interface Fungsi Database Management System (DBMS)
- 23. Pengelolaan nama, definisi, dan atribut tentang elemen data yang digunakan atau ditangkap dalam database. Data Dictionary Management Proses mengubah format, struktur, atau nilai data dari sistem sumber menjadi sistem tujuan Data Transformation Proses mengelola data secara lebih efektif dan mengatur perangkat penyimpanan serta ketersediaan berbagai jenis data. Data Storage Management Proses dan prosedur untuk melindungi dan mengamankan database atau DBMS dari aktivitas dan penggunaan yang tidak sah, ancaman berbahaya, dan serangan Security Management Fungsi Database Management System (DBMS)
- 24. Definisi Informasi yang mengatur data dalam hubungan yang telah ditentukan di mana data disimpan dalam satu atau lebih tabel (atau "relasi") kolom dan baris. Contoh MySQL, PostgreSQL, MariaDB, Oracle Database, SQLite. Definisi sistem yang dirancang untuk mengaktifkan dan mendukung aktivitas business intelligence (BI), khususnya analitik. Warehouse Database semata- mata dimaksudkan untuk melakukan kueri dan analisis dan seringkali berisi data historis dalam jumlah besar. Contoh: SQL Server, Teradata Relational Database Warehouse Database Jenis-Jenis DBMS
- 25. Jenis-Jenis DBMS Definisi OD digunakan untuk menjalankan operasi bisnis sehari-hari. Data sering berubah saat pembaruan dibuat dan mencerminkan nilai saat ini dari transaksi terakhir. Nama lainnya adalah Operational Database Management Systems also called as OLTP. Contoh XML, JSON, MangoDB Operational Database Definisi Basis data yang tidak terbatas pada satu sistem, tetapi tersebar di berbagai situs, yaitu di beberapa komputer atau melalui jaringan komputer. Tipe Homogeneous, semua situs yang berbeda menyimpan basis data secara identic Heteregenous, situs yang berbeda menggunakan lunak berbeda. Distribution Database Definisi Bass data untuk end-user yang terdiri dari berbagai bentuk file. Contoh File download, dokumen spreadsheet End-User Database
- 26. Apa itu Entity Relationship Diagram (ERD)? Diagram yang berfungsi untuk menyusun struktur data dan hubungan antar data, menggunakan notasi, simbol, bagan, dan masih banyak lagi. Jenis-Jenis Relasi dalam Data: 1. Relasi One to One 2. Relasi One to Many 3. Relasi Many to Many
- 27. Primary Key Ialah field kunci utama dari suatu tabel yang menunjukkan kunci yang tidak bisa diisi dengan data yang sama (Fokus kepada keunikan tabel). Digunakan untuk memastikan nilai dalam kolom tertentu adalah unik Foreign Key digunakan untuk menghubungkan antara dua tabel NOTE: Satu tabel tidak boleh memiliki lebih dari satu primary key
- 28. Apa itu Query? Permintaan informasi tertentu dari sebuah basis data dalam format tertentu, digunakan untuk melakukan manipulasi terhadap basis data yang lebih dikenal dengan nama Structured Query Language (SQL) Apa fungsi Data Definition Language (DDL)? Digunakan untuk menggambarkan desain dari basis data secara menyeluruh dan dapat digunakan untuk membuat tabel baru, memuat indeks, maupun mengubah tabel. Contoh perintah umum: CREATE, RENAME, ALTER, DROP Apa itu Data Manipulation Language (DML)? Digunakan untuk memanipulasi dan mengambil data pada suatu basis data. Contoh perintah umum: SELECT, INSERT, UPDATE, DELETE