Data mining: Clustering (In Persian).pdf
- 3. 10 هر‌اطالعاتی‌برای‌شما‌قابل فراخوانی‌است ! اما‌قبل‌از‌هرکاری‌الزم‌است‌فکر کنید‌که‌برای‌حل‌مسئله‌به‌چ ه اطالعاتی‌نیاز‌دارید؟ های‌یک‌فروشگاه هداد ای هزنجیر مقدمه اول مرحله : کنید جدا را نیازتان مورد اطالعات ! 9 انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ تراکنش مشتری کاالها زمان شعبه امتیاز مشتری ارزش خرید تخفیف TID1 98av A,Z,K 8311 هروی 3 90 9 TID54 78fv R,O 11230 صادقیه 9 10 1 TID65 98bn P,G,A 55532 تهرانس ر 4 23 14 … … … … … … … … TID34 67qw O,I,J,L 44321 هروی 2 800 79
- 4. 10 دهید؟می پیشنهاد رویکردی چه زیر یمسئله حل برای 9 انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ 6 1 که صورت این به کنیم طراحی هافروشگاه در موجود کاالهای اقالم برای بهینه چیدمان خواهیممی : 1 - کنند پیدا ممکن زمان کمترین در را نیازشان مورد کاالهای هامشتری . 2 - رش و شده جلب نیز هاآن به توجهشان هامشتری تا شوند عرضه مناسب محل در ،شده کمترشناخته کاالهای د باشیم داشته فروش . دهید؟می پیشنهاد راهکاری چه
- 6. 10 دهید؟می پیشنهاد رویکردی چه زیر یمسئله حل برای 9 انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ 6 2 ت را بعد ماه در ،آن به شده داده تخصیص بودجه مقدار کاال باکد هر برای ،گذشته اطالعات مبنای بر خواهیممی خمین باشیم داشته را خسارت و خطا کمترین که ایگونه به بزنیم . دهید؟می پیشنهاد راهکاری چه
- 7. 10 دهید؟می پیشنهاد رویکردی چه زیر یمسئله حل برای 9 انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ 6 3 محصول جدیدی توسط ایتولیدکننده تولید شده است . خواهیممی نقطه سفارش محصول را تعیین کنیم . ب رای اینکارنیاز به بینیپیش تقاضای این محصول ،داریم در حالی که اطالعاتی از فروش گذشتۀ محصول در دست رس نیست . دهید؟می پیشنهاد راهکاری چه
- 9. 10 دهید؟می پیشنهاد رویکردی چه زیر یمسئله حل برای 9 انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ 6 4 در این ،فروشگاه 12000 بارکد کاالی مختلف عرضه ،شودمی و هر کدام روند متفاوتی از فروش را دارند . این تعداد کاال و این تعداد روند ،فروش ما را برای انتخاب هایاستراتژی کالن ،خرید گذاریسفارش و ... دچار مشکل و سردرگمی کندمی . دهید؟می پیشنهاد راهکاری چه
- 10. 10 • یافتن مشتریان هشبی به هم ( سلیقمه ه ) چه کمکی به مدیران کند؟ یم • یافتن کاالهای شبیه به هم چطور؟ • کاالی شبیه به هم یعنی چه؟ اطالعات‌یک‌فروشگاه ای هزنجیر مقدمه پنهان هایخوشه یافتن 9 انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ کاالی خوراکی نوع قیمت قیمت وزن TID1 سرد نوشیدنی 1000 500g TID54 خشک تنقالت 7000 250g TID65 خشک قالت 2300 1000g … ... TID34 سرد نوشیدنی 9000 550g
- 12. بندیخوشه انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ مثال کاربر تایتانیک تاری شوالیه کی 1 8 18 2 16 6 3 12 14 4 15 8 5 10 16 6 4 17 7 20 12 8 7 16 9 13 20 برای ،سادگی تعداد 9 کاربر و 2 فیلم را در نظر بگیرید . خواهیم یم کاربران سلیقه مه را بیابیم .
- 13. بندیخوشه انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ مثال کاربر تایتانیک تاری شوالیه کی 1 8 18 2 16 6 3 12 14 4 15 8 5 10 16 6 4 17 7 20 12 8 7 16 9 13 20 برای ،سادگی تعداد 9 کاربر و 2 فیلم را در نظر بگیرید . خواهیم یم کاربران سلیقه مه را بیابیم . 1 2 3 4 5 6 7 8 9
- 16. بندیخوشه انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ C-means هدف اصلی بندیخوشه : طوری بندی هخوش کنیم تا حداکثر شباهت میان اعضای درون هخوش وجود داشته باشد . 𝒎𝒂𝒙 𝑧 = ( شباهت ای هدرونخوش ) شباهت بر اساس فاصله سنجیده شودمی . 𝒎𝒊𝒏 z = 𝑖 𝑒𝑖 = اش هخوش مرکز با داده هر فاصله 𝒎𝒊𝒏 z = 𝑖=1 𝑐 𝑘=1 𝑛 𝑢𝑖𝑘 𝑥𝑘 − ഥ 𝑣𝑖 2 𝑖 = 1, … , c 𝑗 = 1, … , p 𝑘 = 1, … , 𝑛 خوشه ویژگی ( فیلم ) نمونه ( کاربر ) ഥ 𝑣𝑖= σ𝑘 𝑢𝑖𝑘.𝑥𝑘 σ𝑘 𝑢𝑖𝑘 مختصات مرکز خوشه i مختصات نمونه k ام اگر نمونه k ام متعلق به خوشه i ام باشد . ഥ 𝑣𝑖 𝑥𝑘 𝑢𝑖𝑘 = 0,1
- 17. بندیخوشه انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ C-means 𝒎𝒊𝒏 z = 𝑖=1 𝑐 𝑘=1 𝑛 𝑢𝑖𝑘 𝑥𝑘 − ഥ 𝑣𝑖 2 𝑖 = 1, … , c 𝑗 = 1, … , p 𝑘 = 1, … , 𝑛 خوشه ویژگی ( فیلم ) نمونه ( کاربر ) مختصات مرکز خوشه i مختصات نمونه k ام اگر نمونه k ام متعلق به خوشه i ام باشد . ഥ 𝑣𝑖 𝑥𝑘 𝑢𝑖𝑘 = 0,1 𝑠. 𝑡. Bezdek c-mean clustering algorithm مساله یک NP-Complete است ഥ 𝑣𝑖= σ𝑘 𝑢𝑖𝑘.𝑥𝑘 σ𝑘 𝑢𝑖𝑘 𝑖=1 𝑐 𝑢𝑖𝑘 = 1 0 < 𝑘=1 𝑛 𝑢𝑖𝑘 < 𝑛 𝑢𝑖𝑘 = 0,1 ∀𝑖, 𝑘 ∀𝑖 ∀𝑘 ∀𝑖
- 18. 1 2 3 4 5 6 7 8 9 بندیخوشه انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ C-means 𝑣1= 6 18 + 7 16 + 10 16 + 11 20 + 12 14 5 = 9.2 16.8 ഥ 𝑣𝑖= σ𝑘 𝑢𝑖𝑘.𝑥𝑘 σ𝑘 𝑢𝑖𝑘 𝑣2= 15 8 + 16 6 + 17 4 + 20 12 4 = 17 7.5
- 19. بندیخوشه انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ C-means 1 . پارامتر c را تعیین کنید ( 2 ≤ 𝑐 ≤ 𝑛 ) و ماتریس 𝑈 0 را به صورت تصادفی تشکیل دهید . به ازای هر تکرار r = 0,1,2,… قدمهای زیر را تکرار کنید . 2 . بردار مراکز ها هخوش را با توجه به ماتریس 𝑈 r محاسبه کنید . ( ) ( ) ( ) n r ik k r k i n r ik k u x V u = = = 1 1 ( ) U = 0 1 0 1 0 0 1 0 1 i = 1 i = 2 k آیا کامال تصادفی است؟ ! ( ) r U Bezdek c-mean clustering algorithm
- 20. بندیخوشه انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ C-means ( ) ( ) ( ) min ,..., r r ik lk r ik d d l c u Otherwise + = = = 1 1 1 0 / ( ) ( ) ( ) p r r ik kj ij j d x v = = − 1 2 1 ( ) ( ) , r r if U U then stop otherwise r r and return to step + − = + 1 1 2 فاصله ها هنمون از همه مرکز ها هخوش محاسبه شده و نمونه به نزدیکترین خوشه تخصیص دا ده شود یم . Bezdek c-mean clustering algorithm 3 . ماتریس 𝑈 r را به شکل زیر بروزرسانی کنید : 4 . شرط توقف :
- 21. بندیخوشه انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ C-means مثال ( ) . V + + + + = = 0 1 2 12 3 30 25 14 4 5 , , , , , , , , , c = 2 4 10 12 3 20 30 11 25 2 ( ) U = 0 1 0 0 1 1 0 1 0 1 0 1 1 0 0 1 0 1 0 : , , , , c1 2 12 3 30 25 ( ) . V + + + = = 0 2 4 10 20 11 11 25 4 : , , , c2 4 10 20 11 فاصله ها هنمون از مراکز ها هخوش محاسبه شده و نمونه به نزدیکترین خوشه تخصیص د اده شود یم .
- 22. بندیخوشه انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ C-means , , , , , , , , , c = 2 4 10 12 3 20 30 11 25 2 ( ) ik d 0 ( ) ( ) . . . . d d = − = = − = 0 11 0 21 2 14 4 12 4 2 11 25 9 25 P ( ) u = 1 21 1 ( ) ( ) . . . . d d = − = = − = 0 12 0 22 4 14 4 10 4 4 11 25 7 25 P ( ) u = 1 22 1 ( ) u = 1 11 0 ( ) u = 1 12 0 … ( ) U = 1 0 0 0 0 0 1 1 0 1 1 1 1 1 1 0 0 1 0 ( ) V + + = = 0 1 20 30 25 25 3 ( ) V + + + + + = = 0 2 2 4 10 12 3 11 7 6 مثال
- 24. بندیخوشه انبارهای‌داده‌و‌داده‌کاوی – دکتر‌مهدی‌غضنفری – سال‌دوم منی ۱۳۹۹-۱۴۰۰ الگوریتم شروع C-means قدم اول : پارامتر c را تعیین کنید ( 2 ≤ 𝑐 ≤ 𝑛 ) و ماتریس 𝑈 0 را به صورت تصادفی تشکیل دهید . حالت اول قدم اول : پارامتر c را تعیین کنید ( 2 ≤ 𝑐 ≤ 𝑛 ) و تعداد c نمونه را به طور تصادفی به عنوان مراکز خوشه اولیه انتخاب کنید . احتمال انتخاب هر نمونه به عنوان مرکز ،خوشه از توزیع یکنواخت پیروی کند یم . حالت دوم قدم اول : پارامتر c را تعیین کنید ( 2 ≤ 𝑐 ≤ 𝑛 ) و برای انتخاب مراکز ،اولیه از روش k++ استفاده کنید . در این ،روش هدف این است که مراکز اولیه تا حد امکان از یکدیگر دور باشند . به طوری که ابتدا یک نمونه به صورت تصادفی بعنوان مرکز خوشه اول انتخاب شود یم . سپس برای انتخاب مراکز ،بعدی احتمال انتخاب ها هنمون یکسان نیست و هر ای هنمون که از مرکز انتخاب شده دورتر ،باشد شانس بیشتری برای انتخاب دارد . حالت سوم