Clustering
‫فهرست‬
 ‫؟‬ ‫چیست‬ ‫کالسترینگ‬
 ‫؟‬ ‫چیست‬ ‫در‬ ‫بندی‬ ‫طبقه‬ ‫با‬ ‫کالسترینگ‬ ‫تفاوت‬
 ‫کردن‬ ‫کالستر‬ ‫در‬ ‫موجود‬ ‫مشکالت‬(‫بندی‬ ‫خوشه‬)
 ‫بندی‬ ‫خوشه‬ ‫های‬ ‫روش‬ ‫انواع‬
 ‫الگوریتم‬ ‫شرح‬ k-means
 ‫الگوریتم‬ ‫شرح‬ k-nearest
 ‫کاربردی‬ ‫مثال‬ ‫چند‬
‫چیست‬ ‫بندی‬ ‫خوشه‬‫؟‬
‫باشند‬ ‫داشته‬ ‫شباهت‬ ‫هم‬ ‫به‬ ‫که‬ ‫شود‬‫مي‬ ‫گفته‬ ‫ها‬‫داده‬ ‫از‬ ‫اي‬‫مجموعه‬ ‫به‬ ‫خوشه‬.
‫بندي‬‫طبقه‬ ‫مقابل‬ ‫در‬ ‫بندي‬‫خوشه‬
‫از‬ ‫کالس‬ ‫سری‬ ‫یک‬ ‫بندی‬ ‫طبقه‬ ‫در‬‫داریم‬ ‫شده‬ ‫تعیین‬ ‫پیش‬.
‫داده‬ ‫در‬ ‫موجود‬ ‫های‬ ‫کالس‬ ‫از‬ ‫اطالعی‬ ‫هیچ‬ ‫بندی‬ ‫خوشه‬ ‫در‬
‫نداریم‬ ‫ها‬.
‫بندي‬‫خوشه‬ ‫هاي‬‫روش‬
‫بندي‬‫خوشه‬‫انحصاري‬(Exclusive or Hard Clustering)‫مقابل‬ ‫در‬
‫بندي‬‫خوشه‬‫پوشي‬‫هم‬ ‫با‬(Overlapping or Soft Clustering)
‫سلسله‬ ‫بندي‬‫خوشه‬‫مراتبي‬(Hierarchical)‫مقابل‬ ‫در‬
‫مسطح‬ ‫بندي‬‫خوشه‬(Flat)
‫مراتبي‬ ‫سلسله‬ ‫بندي‬‫خوشه‬ ‫روشهاي‬
‫به‬ ‫باال‬‫پايین‬(Top-Down)
‫تقسیم‬ ‫يا‬‫کننده‬(Divisive: )
‫به‬ ‫پايین‬‫باال‬(Bottom-Up)
‫يا‬‫متراکم‬‫شونده‬(Agglomerative: )
‌‫‌بندي‌با‌روش‬‫ه‬‫خوش‬Single-Link
dAB= min dij
𝒊 ∈ A
j ∈ B
‫خوش‬ ‫دو‬ ‫بین‬ ‫شباهت‬ ‫محاسبه‬ ‫براي‬ ‫روش‬ ‫اين‬ ‫در‬‫ه‬‫شود‬‫مي‬ ‫استفاده‬ ‫زير‬ ‫معیار‬ ‫از‬:
‫برای‬ ‫مثال‬single-link
‫داشتن‬ ‫فرض‬ ‫با‬6‫ماتريس‬ ‫و‬ ‫داده‬ ‫نمونه‬‫فاصل‬‫ه‬‫جدول‬ ‫در‬ ‫که‬ ‫آنها‬ ‫بین‬1، ‫داده‬‫نشان‬
‫الگوریتم‬ ‫عملکرد‬ ‫نحوه‬single-link‫دهیم‬ ‫می‬ ‫نشان‬ ‫را‬:
Clusterin k means
Clusterin k means
‫روش‬ ‫با‬ ‫بندي‬‫خوشه‬Complete-Link
•‫خالف‬ ‫بر‬ ‫الگوریتم‬ ‫این‬ ‫در‬single-link‫کنیم‬ ‫می‬ ‫استفاده‬ ‫زیر‬ ‫شباهت‬ ‫معیار‬ ‫از‬:
Clusterin k means
Clusterin k means
Clusterin k means
‫روش‬ ‫با‬ ‫بندي‬‫خوشه‬Average-Link
‫کاهش‬ ‫برای‬noise‫میکنیم‬ ‫استفاده‬ ‫زیر‬ ‫معیار‬ ‫از‬ ‫که‬ ‫شود‬ ‫می‬ ‫استفاده‬ ‫روش‬ ‫این‬ ‫از‬:
Clusterin k means
Clusterin k means
Clusterin k means
‫الگوریتم‬k-means
‫محسوب‬ ‫مسطح‬ ‫و‬ ‫انحصاري‬ ‫روشي‬ ‫روش‬ ‫اين‬‫شود‬‫مي‬.
‫عملکرد‬ ‫نحوه‬:
1-‫دهی‬ ‫مقدار‬‫اولیه‬:
k‫می‬ ‫نظر‬ ‫در‬ ‫اولیه‬ ‫مراکز‬ ‫عنوان‬ ‫به‬ ‫را‬ ‫نقطه‬‫گیرد‬.
2-K‫دهد‬ ‫می‬ ‫تشکیل‬ ‫مرکز‬ ‫ترین‬ ‫نزدیک‬ ‫به‬ ‫نقاط‬ ‫تمام‬ ‫تخصیص‬ ‫با‬ ‫را‬ ‫خوشه‬.
3-‫شوند‬ ‫می‬ ‫محاسبه‬ ‫دوباره‬ ‫خوشه‬ ‫هر‬ ‫مراکز‬.
4-‫نکنند‬ ‫تغییر‬ ‫مراکز‬ ‫که‬ ‫زمانی‬ ‫تا‬ ‫تکرار‬.
Clusterin k means
‫الگوریتم‬k-nearest
‫موجود‬ ‫های‬ ‫خوشه‬ ‫در‬ ‫جدید‬ ‫عضو‬ ‫یک‬ ‫بندی‬ ‫خوشه‬ ‫برای‬ ‫است‬ ‫الگوریتمی‬.
tell me who your neighbors are, and I’ll tell you who you are
K=3
2، ‫آال‬ ‫قزل‬ ‫تا‬1‫کپور‬
‫میشود‬ ‫محسوب‬ ‫آال‬ ‫قزل‬ ‫ماهی‬ ‫نتیجه‬ ‫در‬.
‫به‬ ‫ماهی‬ ‫های‬ ‫گونه‬ ‫تعداد‬ ‫اگر‬ ‫قبل‬ ‫مثال‬ ‫در‬3‫و‬ ‫یابد‬ ‫تغییر‬
k‫برابر‬ ‫نیز‬5‫؟؟‬ ‫افتد‬ ‫می‬ ‫اتفاقی‬ ‫چه‬ ‫گردد‬
k=5
3، ‫آال‬ ‫قزل‬ ‫تا‬1، ‫کپور‬1‫مارماهی‬
‫باشد‬ ‫می‬ ‫آال‬ ‫قزل‬ ‫جدید‬ ‫نمونه‬ ‫نتیجه‬ ‫در‬.
‫مقدار‬ ‫تاثیر‬k‫الگوریتم‬ ‫در‬:
‫چقدر‬ ‫هر‬ ‫نامحدود‬ ‫ی‬ ‫مجموعه‬ ‫در‬ ‫تئوری‬ ‫در‬k‫شود‬ ‫می‬ ‫حاصل‬ ‫بهتری‬ ‫نتیجه‬ ‫باشد‬ ‫بزرگتر‬.
‫ولی‬k‫شود‬ ‫رعایت‬ ‫محلیت‬ ‫اصل‬ ‫که‬ ‫گردد‬ ‫انتخاب‬ ‫طوری‬ ‫باید‬
‫زیرا‬k‫شود‬ ‫می‬ ‫محلیت‬ ‫رفتن‬ ‫بین‬ ‫از‬ ‫باعث‬ ‫بزرگ‬.
‫مقدار‬ ‫بهترین‬k
‫برای‬ ‫مقدار‬ ‫بهترین‬k‫باشد‬ ‫می‬ ‫موجود‬ ‫های‬ ‫نمونه‬ ‫کل‬ ‫تعداد‬ ‫جذر‬ ‫غالبا‬.
𝒌 < 𝒏
K=1‫افزایش‬ ‫باعث‬ ‫ولی‬ ‫دهد‬ ‫افزایش‬ ‫را‬ ‫کارایی‬ ‫تواند‬ ‫می‬ ‫کمتر‬ ‫محاسبات‬ ‫دلیل‬ ‫به‬noise‫میگردد‬
.
‫مختلف‬ ‫مقادیر‬ ‫مقایسه‬k
‫کاربردی‬ ‫های‬ ‫مثال‬:
‫بازاريابي‬ ‫در‬:(marketing)‫بندي‬‫دسته‬‫و‬ ‫رفتارها‬ ‫حسب‬ ‫بر‬ ‫هايي‬‫دسته‬ ‫به‬ ‫ها‬‫مشتري‬
‫نیازهاي‬‫آنها‬‫آنها‬ ‫هاي‬‫خريد‬ ‫آخرين‬ ‫و‬ ‫ها‬‫ويژگي‬ ‫از‬ ‫زيادي‬ ‫مجموعه‬ ‫طريق‬ ‫از‬.
‫شناسي‬‫زيست‬( :biology)‫بندي‬‫دسته‬‫هاي‬‫ويژگي‬ ‫روي‬ ‫از‬ ‫گیاهان‬ ‫و‬ ‫حیوانات‬‫آنها‬
‫کتابداري‬:‫بندي‬‫دسته‬‫کتابها‬
‫مطالعات‬‫نگاري‬‫زلزله‬:(earth quake studies)‫تشخیص‬‫اساس‬ ‫بر‬ ‫خیز‬‫حادثه‬ ‫مناطق‬
‫مشاهدات‬‫قبلي‬
‫کاوي‬ ‫داده‬:(data mininig)‫کشف‬‫موجود‬ ‫هاي‬‫داده‬ ‫از‬ ‫جديد‬ ‫ساختار‬ ‫و‬ ‫اطالعات‬
‫منابع‬:
 The k-means algorithm ,Tan, Steinbach, Kumar + Ghosh
 K-means and Hierarchical Clustering Andrew W. Moore Professor School of
Computer Science Carnegie Mellon University

More Related Content

PPTX
دانلود رایگان فایل کد آموزشی داده کاوی خوشه بندی K-means در متلب
PDF
طبقه بندی و بازشناسی الگو با شبکه های عصبی LVQ در متلب
PDF
icml2004 tutorial on spectral clustering part II
PPTX
Spectral clustering Tutorial
PDF
راهنمای سریع گذار به وب ۳ از منظر کلان داده
PDF
(WEB TRACKING) ردیابی کاربران در وب و متدهای دفاعی در برابرآن
PPTX
Spectral clustering - Houston ML Meetup
PDF
آموزش طراحی الگوریتم به همراه حل مثال های عملی - بخش سوم
دانلود رایگان فایل کد آموزشی داده کاوی خوشه بندی K-means در متلب
طبقه بندی و بازشناسی الگو با شبکه های عصبی LVQ در متلب
icml2004 tutorial on spectral clustering part II
Spectral clustering Tutorial
راهنمای سریع گذار به وب ۳ از منظر کلان داده
(WEB TRACKING) ردیابی کاربران در وب و متدهای دفاعی در برابرآن
Spectral clustering - Houston ML Meetup
آموزش طراحی الگوریتم به همراه حل مثال های عملی - بخش سوم

Similar to Clusterin k means (20)

PDF
presentation
PDF
Classification of Iris flower data
PPT
Image segmentation with coa
PDF
Bees algorithm
PDF
Data mining: Clustering (In Persian).pdf
PDF
متعادل‌ کننده بار در پایگاه داده‌ توزیع‌ شده
PDF
آموزش ساختمان داده ها - بخش ششم
PDF
Exam data structure ashkezar f1notes.ir
PDF
آموزش طراحی الگوریتم به همراه حل مثال های عملی - بخش چهارم
PDF
آموزش رابطه های بازگشتی در طراحی الگوریتم و ساختمان گسسته (مرور – تست کنکور ا...
PPTX
Fraud detection.pptx
PDF
مقاله هندسه محاسباتی
PDF
نگار پژوه :: آموزش کاربردی بهینه سازی الگوریتم ازدحام ذرات چند هدفه
PPTX
PDF
آموزش ساختمان داده ها - بخش هشتم
PPTX
Final presentation for Master Degree Thesis
PPTX
پروژه کاروفناوری(پرهام)).pptx
PPT
Maryam mojaverrezaei
presentation
Classification of Iris flower data
Image segmentation with coa
Bees algorithm
Data mining: Clustering (In Persian).pdf
متعادل‌ کننده بار در پایگاه داده‌ توزیع‌ شده
آموزش ساختمان داده ها - بخش ششم
Exam data structure ashkezar f1notes.ir
آموزش طراحی الگوریتم به همراه حل مثال های عملی - بخش چهارم
آموزش رابطه های بازگشتی در طراحی الگوریتم و ساختمان گسسته (مرور – تست کنکور ا...
Fraud detection.pptx
مقاله هندسه محاسباتی
نگار پژوه :: آموزش کاربردی بهینه سازی الگوریتم ازدحام ذرات چند هدفه
آموزش ساختمان داده ها - بخش هشتم
Final presentation for Master Degree Thesis
پروژه کاروفناوری(پرهام)).pptx
Maryam mojaverrezaei
Ad

Clusterin k means

  • 2. ‫فهرست‬  ‫؟‬ ‫چیست‬ ‫کالسترینگ‬  ‫؟‬ ‫چیست‬ ‫در‬ ‫بندی‬ ‫طبقه‬ ‫با‬ ‫کالسترینگ‬ ‫تفاوت‬  ‫کردن‬ ‫کالستر‬ ‫در‬ ‫موجود‬ ‫مشکالت‬(‫بندی‬ ‫خوشه‬)  ‫بندی‬ ‫خوشه‬ ‫های‬ ‫روش‬ ‫انواع‬  ‫الگوریتم‬ ‫شرح‬ k-means  ‫الگوریتم‬ ‫شرح‬ k-nearest  ‫کاربردی‬ ‫مثال‬ ‫چند‬
  • 3. ‫چیست‬ ‫بندی‬ ‫خوشه‬‫؟‬ ‫باشند‬ ‫داشته‬ ‫شباهت‬ ‫هم‬ ‫به‬ ‫که‬ ‫شود‬‫مي‬ ‫گفته‬ ‫ها‬‫داده‬ ‫از‬ ‫اي‬‫مجموعه‬ ‫به‬ ‫خوشه‬.
  • 4. ‫بندي‬‫طبقه‬ ‫مقابل‬ ‫در‬ ‫بندي‬‫خوشه‬ ‫از‬ ‫کالس‬ ‫سری‬ ‫یک‬ ‫بندی‬ ‫طبقه‬ ‫در‬‫داریم‬ ‫شده‬ ‫تعیین‬ ‫پیش‬. ‫داده‬ ‫در‬ ‫موجود‬ ‫های‬ ‫کالس‬ ‫از‬ ‫اطالعی‬ ‫هیچ‬ ‫بندی‬ ‫خوشه‬ ‫در‬ ‫نداریم‬ ‫ها‬.
  • 5. ‫بندي‬‫خوشه‬ ‫هاي‬‫روش‬ ‫بندي‬‫خوشه‬‫انحصاري‬(Exclusive or Hard Clustering)‫مقابل‬ ‫در‬ ‫بندي‬‫خوشه‬‫پوشي‬‫هم‬ ‫با‬(Overlapping or Soft Clustering) ‫سلسله‬ ‫بندي‬‫خوشه‬‫مراتبي‬(Hierarchical)‫مقابل‬ ‫در‬ ‫مسطح‬ ‫بندي‬‫خوشه‬(Flat)
  • 6. ‫مراتبي‬ ‫سلسله‬ ‫بندي‬‫خوشه‬ ‫روشهاي‬ ‫به‬ ‫باال‬‫پايین‬(Top-Down) ‫تقسیم‬ ‫يا‬‫کننده‬(Divisive: ) ‫به‬ ‫پايین‬‫باال‬(Bottom-Up) ‫يا‬‫متراکم‬‫شونده‬(Agglomerative: )
  • 7. ‌‫‌بندي‌با‌روش‬‫ه‬‫خوش‬Single-Link dAB= min dij 𝒊 ∈ A j ∈ B ‫خوش‬ ‫دو‬ ‫بین‬ ‫شباهت‬ ‫محاسبه‬ ‫براي‬ ‫روش‬ ‫اين‬ ‫در‬‫ه‬‫شود‬‫مي‬ ‫استفاده‬ ‫زير‬ ‫معیار‬ ‫از‬:
  • 8. ‫برای‬ ‫مثال‬single-link ‫داشتن‬ ‫فرض‬ ‫با‬6‫ماتريس‬ ‫و‬ ‫داده‬ ‫نمونه‬‫فاصل‬‫ه‬‫جدول‬ ‫در‬ ‫که‬ ‫آنها‬ ‫بین‬1، ‫داده‬‫نشان‬ ‫الگوریتم‬ ‫عملکرد‬ ‫نحوه‬single-link‫دهیم‬ ‫می‬ ‫نشان‬ ‫را‬:
  • 11. ‫روش‬ ‫با‬ ‫بندي‬‫خوشه‬Complete-Link •‫خالف‬ ‫بر‬ ‫الگوریتم‬ ‫این‬ ‫در‬single-link‫کنیم‬ ‫می‬ ‫استفاده‬ ‫زیر‬ ‫شباهت‬ ‫معیار‬ ‫از‬:
  • 15. ‫روش‬ ‫با‬ ‫بندي‬‫خوشه‬Average-Link ‫کاهش‬ ‫برای‬noise‫میکنیم‬ ‫استفاده‬ ‫زیر‬ ‫معیار‬ ‫از‬ ‫که‬ ‫شود‬ ‫می‬ ‫استفاده‬ ‫روش‬ ‫این‬ ‫از‬:
  • 19. ‫الگوریتم‬k-means ‫محسوب‬ ‫مسطح‬ ‫و‬ ‫انحصاري‬ ‫روشي‬ ‫روش‬ ‫اين‬‫شود‬‫مي‬. ‫عملکرد‬ ‫نحوه‬: 1-‫دهی‬ ‫مقدار‬‫اولیه‬: k‫می‬ ‫نظر‬ ‫در‬ ‫اولیه‬ ‫مراکز‬ ‫عنوان‬ ‫به‬ ‫را‬ ‫نقطه‬‫گیرد‬.
  • 20. 2-K‫دهد‬ ‫می‬ ‫تشکیل‬ ‫مرکز‬ ‫ترین‬ ‫نزدیک‬ ‫به‬ ‫نقاط‬ ‫تمام‬ ‫تخصیص‬ ‫با‬ ‫را‬ ‫خوشه‬. 3-‫شوند‬ ‫می‬ ‫محاسبه‬ ‫دوباره‬ ‫خوشه‬ ‫هر‬ ‫مراکز‬.
  • 21. 4-‫نکنند‬ ‫تغییر‬ ‫مراکز‬ ‫که‬ ‫زمانی‬ ‫تا‬ ‫تکرار‬.
  • 23. ‫الگوریتم‬k-nearest ‫موجود‬ ‫های‬ ‫خوشه‬ ‫در‬ ‫جدید‬ ‫عضو‬ ‫یک‬ ‫بندی‬ ‫خوشه‬ ‫برای‬ ‫است‬ ‫الگوریتمی‬. tell me who your neighbors are, and I’ll tell you who you are K=3 2، ‫آال‬ ‫قزل‬ ‫تا‬1‫کپور‬ ‫میشود‬ ‫محسوب‬ ‫آال‬ ‫قزل‬ ‫ماهی‬ ‫نتیجه‬ ‫در‬.
  • 24. ‫به‬ ‫ماهی‬ ‫های‬ ‫گونه‬ ‫تعداد‬ ‫اگر‬ ‫قبل‬ ‫مثال‬ ‫در‬3‫و‬ ‫یابد‬ ‫تغییر‬ k‫برابر‬ ‫نیز‬5‫؟؟‬ ‫افتد‬ ‫می‬ ‫اتفاقی‬ ‫چه‬ ‫گردد‬ k=5 3، ‫آال‬ ‫قزل‬ ‫تا‬1، ‫کپور‬1‫مارماهی‬ ‫باشد‬ ‫می‬ ‫آال‬ ‫قزل‬ ‫جدید‬ ‫نمونه‬ ‫نتیجه‬ ‫در‬.
  • 25. ‫مقدار‬ ‫تاثیر‬k‫الگوریتم‬ ‫در‬: ‫چقدر‬ ‫هر‬ ‫نامحدود‬ ‫ی‬ ‫مجموعه‬ ‫در‬ ‫تئوری‬ ‫در‬k‫شود‬ ‫می‬ ‫حاصل‬ ‫بهتری‬ ‫نتیجه‬ ‫باشد‬ ‫بزرگتر‬. ‫ولی‬k‫شود‬ ‫رعایت‬ ‫محلیت‬ ‫اصل‬ ‫که‬ ‫گردد‬ ‫انتخاب‬ ‫طوری‬ ‫باید‬ ‫زیرا‬k‫شود‬ ‫می‬ ‫محلیت‬ ‫رفتن‬ ‫بین‬ ‫از‬ ‫باعث‬ ‫بزرگ‬.
  • 26. ‫مقدار‬ ‫بهترین‬k ‫برای‬ ‫مقدار‬ ‫بهترین‬k‫باشد‬ ‫می‬ ‫موجود‬ ‫های‬ ‫نمونه‬ ‫کل‬ ‫تعداد‬ ‫جذر‬ ‫غالبا‬. 𝒌 < 𝒏 K=1‫افزایش‬ ‫باعث‬ ‫ولی‬ ‫دهد‬ ‫افزایش‬ ‫را‬ ‫کارایی‬ ‫تواند‬ ‫می‬ ‫کمتر‬ ‫محاسبات‬ ‫دلیل‬ ‫به‬noise‫میگردد‬ .
  • 28. ‫کاربردی‬ ‫های‬ ‫مثال‬: ‫بازاريابي‬ ‫در‬:(marketing)‫بندي‬‫دسته‬‫و‬ ‫رفتارها‬ ‫حسب‬ ‫بر‬ ‫هايي‬‫دسته‬ ‫به‬ ‫ها‬‫مشتري‬ ‫نیازهاي‬‫آنها‬‫آنها‬ ‫هاي‬‫خريد‬ ‫آخرين‬ ‫و‬ ‫ها‬‫ويژگي‬ ‫از‬ ‫زيادي‬ ‫مجموعه‬ ‫طريق‬ ‫از‬. ‫شناسي‬‫زيست‬( :biology)‫بندي‬‫دسته‬‫هاي‬‫ويژگي‬ ‫روي‬ ‫از‬ ‫گیاهان‬ ‫و‬ ‫حیوانات‬‫آنها‬ ‫کتابداري‬:‫بندي‬‫دسته‬‫کتابها‬ ‫مطالعات‬‫نگاري‬‫زلزله‬:(earth quake studies)‫تشخیص‬‫اساس‬ ‫بر‬ ‫خیز‬‫حادثه‬ ‫مناطق‬ ‫مشاهدات‬‫قبلي‬ ‫کاوي‬ ‫داده‬:(data mininig)‫کشف‬‫موجود‬ ‫هاي‬‫داده‬ ‫از‬ ‫جديد‬ ‫ساختار‬ ‫و‬ ‫اطالعات‬
  • 29. ‫منابع‬:  The k-means algorithm ,Tan, Steinbach, Kumar + Ghosh  K-means and Hierarchical Clustering Andrew W. Moore Professor School of Computer Science Carnegie Mellon University