Presentation - Automated Variable Weighting in k-Means Type Clustering

> Automated Variable Weighting in k-Means Type Clustering ( Huang, J.Z.; Ng, M.K.; Hongqiang Rong; Zichen Li. ; 2005 ) Présentation 28 Septembre 2010 [email_address]

Sommaire La classification La méthode des K-moyennes Automatisation de la pondération des poids Résultats obtenus Limites de l’étude

1. La classification La classification (clustering)

1. La classification Exemples d’applications de la classification Marketing : trouver des groupes de clients similaires Biologie : classer des plantes selon leurs caractéristiques Algorithmes évolutionnistes : améliorer la diversité des croisements. …

2. La méthode des K-moyennes K-moyennes (K-means) Une méthode non supervisée MacQueen, 1967 2) k groupes sont créés en associant chaque individu au centre le plus proche. 1) k centres initiaux sont sélectionnés aléatoirement parmi l'ensemble des données (ici k=3 ) 3) Les centroïdes de chaque groupe deviennent les nouveaux centres. 4) Les étapes 2 et 3 sont répétées aussi longtemps que les centres ne sont pas stabilisés Stabilisation des centres et fin

2. La méthode des K-moyennes Les limites de l’algorithme des K-moyennes : Nécessité de l’existence d’une distance Choix du nombre de classes Influence du choix des centres initiaux sur le résultat Sensible au bruit

2. La méthode des K-moyennes Exemple en 3D : x 1 et x 2 sont ok pour la classification, x 3 est du bruit x 1 et x 2 x 1 et x 3 x 2 et x 3 Classification obtenue

Sommaire La classification La méthode des K-moyennes K-moyennes avec pondération des poids dynamique Résultats obtenus Limites de l’étude

3. K-moyennes avec pondération des poids dynamique K-moyennes avec pondération des poids dynamique ( Automated Variable Weighting in k-Means Type Clustering – 2005) Idée : Pondérer chaque variable afin de pouvoir donner un poids plus faible aux variables affectées par un bruit important. Existant : Modha et Spangler y ont déjà pensé… mais les poids qu’ils utilisaient étaient calculés au tout début de l’algorithme. Ici, les poids vont être calculer dynamiquement, à chaque itérations de l’algorithme des K-moyennes.

3. K-moyennes avec pondération des poids dynamique 2) k groupes sont créés en associant chaque individu au centre le plus proche. 1) k centres initiaux sont sélectionnés aléatoirement parmi l'ensemble des données (ici k=3 ) 3) Les centroïdes de chaque groupe deviennent les nouveaux centres. 5) Les étapes 2, 3 et 4 sont répétées aussi longtemps que les centres ne sont pas stabilisés Stabilisation des centres et fin 4) Calcul des poids

3. K-moyennes avec pondération des poids dynamique Calcul des poids - Théorème avec Où u i,l signifie que l’objet i est affecté à la classe l d(x i,j , z l,j ) est la distance entre les objets x et z h est le nombre de variables D j telles que D j ≠ 0 z l,j est la valeur de la variable j du centroïde du cluster l

3. K-moyennes avec pondération des poids dynamique Calcul des poids - Théorème avec Où u i,l signifie que l’objet i est affecté à la classe l d(x i,j , z l,j ) est la distance entre les objets x et z h est le nombre de variables D j telles que D j ≠ 0 z l,j est la valeur de la variable j du centroïde du cluster l Idée : Donner un poids faible pour les variables dont la valeur de chacun des individus est en moyenne éloigner des centroïdes

3. K-moyennes avec pondération des poids dynamique Calcul des poids Fonction à minimiser : Contrainte :  Multiplicateurs de Lagrange !

3. K-moyennes avec pondération des poids dynamique Calcul des poids Le Lagrangien : On dérive :

3. K-moyennes avec pondération des poids dynamique Calcul des poids On voit : D’où : CQFD ! De plus :

Sommaire La classification La méthode des K-moyennes K-moyennes avec pondération des poids dynamique Expériences Limites de l’étude

4. Expériences Expérience 1 : Avec un jeu de données synthétique 5 Variables, 300 individus : X 1 , X 2 , X 3 : Données formant 3 classes nettes X 4 , X 5 : Bruit Comme nous connaissons les 3 classes, nous allons comparer les résultats obtenus par l’algorithme des K-moyennes standard avec l’algorithme des K-moyennes avec pondération des poids dynamique. Pour effectuer cette comparaison, nous utiliserons l’ indice de Rand et le clustering accuracy qui permettent d’évaluer la performance d’une classification par comparaison avec la classification voulue.

4. Expériences Indice de Rand : Clustering accuracy : a i est le nombre de points affectés à la bonne classe N est le nombre total de point

4. Expériences Indice de Rand : Clustering accuracy : a i est le nombre de points affectés à la bonne classe N est le nombre total de point Erratum

4. Expériences X 1 , X 2 , X 3 : Données formant 3 classes nettes

4. Expériences X 4 , X 5 : Bruit

4. Expériences Expérience : 1) Génération des données 2) Choix aléatoire des poids 3) Algorithme K-moyennes classique 3) Algorithme K-moyennes classique 4) Recalcul des poids 5) Retour à étape 3. Après 10 itérations, finir la boucle

4. Expériences Algorithme K-moyennes classique K-moyennes avec pondération des poids dynamique Résultats

4. Expériences Algorithme K-moyennes classique K-moyennes avec pondération des poids dynamique Résultats Problème commun : La classification dépend des centroïdes et poids initiaux

4. Expériences Solution commune : Faire tourner les algorithmes plusieurs fois et prendre le meilleur résultat. Les poids convergent de façon similaire :

4. Expériences Solution commune : Faire tourner les algorithmes plusieurs fois et prendre le meilleur résultat. Résultats :

4. Expériences Expérience 2 : Avec 2 jeux de données réels Australian Credit Card data : 690 individus, 5 variables quantitatives, 8 variables qualitatives. Heart Diseases : 270 individus, 6 variables quantitatives, 9 variables qualitatives. Objectifs : Évaluer l’impact de β , paramètres utilisés dans la formule de calcul des poids. 2) Comparer les résultats obtenus avec les études précédentes réalisées sur ces mêmes jeux de données.

4. Expériences Résultats Australian Credit Card data

4. Expériences Résultats Australian Credit Card data +0.02 de prévision que les études précédentes !

4. Expériences Résultats Australian Credit Card data +0.02 de prévision que les études précédentes ! Erratum : 0.85 est aussi atteint lorsque = 8

4. Expériences Résultats Heart Diseases

4. Expériences Résultats Heart Diseases +0.02 de prévision que les études précédentes !

4. Expériences Qu’en est-il des poids ?

4. Expériences Résultats en supprimant les variables au poids faible Australian Credit Card data

4. Expériences Australian Credit Card data +0.03 de prévision que les études précédentes ! Résultats en supprimant les variables au poids faible

4. Expériences Heart Diseases Résultats en supprimant les variables au poids faible

4. Expériences +0.01 de prévision que les études précédentes ! Heart Diseases Résultats en supprimant les variables au poids faible

4. Expériences Résultats +0.01 de prévision que les études précédentes ! Heart Diseases Erratum : Les résultats sont ici moins bons qu’avant la suppression des variables Résultats en supprimant les variables au poids faible

5. Limites de l’étude 1) Le choix de β semble vraiment empirique. L’étude constate simplement que selon la valeur de β , les résultats de la classification varient beaucoup, et que le meilleur résultat est meilleur que les résultats obtenus avec d’autres algorithmes des K-moyennes. Constatation, mais pas interprétation.

5. Limites de l’étude Heart Diseases Résultats en supprimant les variables au poids faible

5. Limites de l’étude 2) Complexité de l’algorithme ? L’article indique que la complexité est de O(tmnk) avec : k est le nombre de classes ; m est le nombre de variables ; n est le nombre d’individus ; t est le nombre d’itérations de l’algorithme. t ne devrait pas figurer dans O, car en incluant dedans, la complexité de l’algorithme n’est plus du tout estimable.

5. Limites de l’étude 2) Complexité de l’algorithme ? Exemple avec deux algorithmes de tri bubble sort est О(n²), n étant le nombre d’éléments à classer. En utilisant un t indiquant le nombre d'itérations, la complexité de bubble sort pourrait être également être notée O(t) (car une itération est O(1)). quicksort sort est О(nlogn), n étant le nombre d’éléments à classer. En utilisant un t indiquant le nombre d'itérations, la complexité de quicksort pourrait être également être notée O(t) (car une itération est O(1)). Conclusion : En utilisant un t indiquant le nombre d'itérations, cela rend les complexités incomparables entre elles. Même si cela permet d'évaluer la complexité d'une seule itération

5. Limites de l’étude 3) Mesure de qualité de l’indice de qualité ? Cet étude utilise l’indice de Rand et le clustering accuracy. Nous avons vu les différences entre ses deux indices sont parfois très importants.

5. Limites de l’étude 3) Mesure de qualité de l’indice de qualité ? Quid des autres ?

5. Limites de l’étude Conclusion Une étude très intéressante améliorant un algorithme classique de clarification (K-moyennes) Une approche dynamique des poids semblant bien fondée et répondant à un besoin existant. Les résultats semblent prometteurs mais auraient mérité à être mieux explorés.

Presentation - Automated Variable Weighting in k-Means Type Clustering

Contenu connexe

Tendances (13)

En vedette (20)

Similaire à Presentation - Automated Variable Weighting in k-Means Type Clustering (20)

Dernier (7)

Presentation - Automated Variable Weighting in k-Means Type Clustering