Constrained k means clustering with background knowledge - COP-Kmeans
0 gostou497 visualizações
O documento discute o algoritmo COP-Kmeans para agrupamento de dados com restrições. COP-Kmeans realiza agrupamento k-means enquanto respeita restrições de nível de instância como must-link e cannot-link. O algoritmo atribui objetos a clusters sem violar restrições e atualiza centros de clusters. Resultados experimentais mostram que restrições podem melhorar agrupamento quando informativas sobre estrutura dos dados.
![.
COP-kMeans
Perspectiva de Otimização
min
{ΣKk
=1
ΣLi
=1
[
(xi; ck)
ΣN j=1(xij xkj)2
]}
sujeito a
1
2
ΣL
i=1
ΣLj
=1
[
Con(i; j)
[ 1
2 Con(i; j)](https://image.slidesharecdn.com/constrainedk-meansclusteringwithbackgroundknowledge-cop-kmeans-141201124610-conversion-gate01/85/Constrained-k-means-clustering-with-background-knowledge-COP-Kmeans-8-320.jpg)
![(Ii; Ij) + 1
2
]]
= 0
Con(i; j) =
8
:
1; se xi e xj é Must-Link
1; se xi e xj é Cannot-Link
0; caso contrário](https://image.slidesharecdn.com/constrainedk-meansclusteringwithbackgroundknowledge-cop-kmeans-141201124610-conversion-gate01/85/Constrained-k-means-clustering-with-background-knowledge-COP-Kmeans-9-320.jpg)
Constrained k means clustering with background knowledge - COP-Kmeans
- 1. . . Constrained K-means Clustering with Background Knowledge COP-Kmeans Sibelius Seraphini Instituto de Ciências Matemáticas e de Computação Universidade de São Paulo 1 de dezembro de 2014 Sibelius Seraphini COP-Kmeans 1 / 14
- 2. . k-Means 1. Escolhe aleatoriamente k centros para os clusters 2. Atribuir cada objeto para o cluster de centro mais próximo 3. Atualizar cada centro para a média dos objetos do cluster correspondente Sibelius Seraphini COP-Kmeans 2 / 14
- 3. . k-Means Perspectiva de Otimização Variância intra-cluster min 8< : KΣ k=1 LΣ i=1 2 4(xi; ck) NΣ j=1 (xij xkj)2 9= 3 5 ; Sibelius Seraphini COP-Kmeans 3 / 14
- 4. . Como incorporar conhecimento prévio? Agrupamento de Dados Semi-Supervisionado Restrições Nível de Instância Nível de Cluster Sibelius Seraphini COP-Kmeans 4 / 14
- 5. . Restrições (COP-kMeans) Restrições em Nível de Instância Must-Link — duas instâncias devem estar no mesmo cluster Cannot-Link — duas instâncias não devem estar no mesmo cluster Restrições nunca são quebradas Sibelius Seraphini COP-Kmeans 5 / 14
- 6. . COP-kMeans 1. Escolhe aleatoriamente k centros para os clusters 2. Atribuir cada objeto para o cluster de centro mais próximo sem violar as restrições 3. Atualizar cada centro para a média dos objetos do cluster correspondente Sibelius Seraphini COP-Kmeans 6 / 14
- 7. . Tratando Restrições Para todos as instâncias tentar atribuí-lo ao centro k mais próximo 1. Sem restrição quebrada Atribuir a instância i ao cluster k 2. Restrição quebrada ! existe outro próximo cluster? Retorna para 1, se sim Falhar Sibelius Seraphini COP-Kmeans 7 / 14
- 8. . COP-kMeans Perspectiva de Otimização min {ΣKk =1 ΣLi =1 [ (xi; ck) ΣN j=1(xij xkj)2 ]} sujeito a 1 2 ΣL i=1 ΣLj =1 [ Con(i; j) [ 1 2 Con(i; j)
- 9. (Ii; Ij) + 1 2 ]] = 0 Con(i; j) = 8 : 1; se xi e xj é Must-Link 1; se xi e xj é Cannot-Link 0; caso contrário
- 10. (Ii; Ij) = { 1; se Ii = Ij 0; caso contrário Sibelius Seraphini COP-Kmeans 8 / 14
- 11. . Resultados Experimentais (K. Wagstaff et al. 2001) Sibelius Seraphini COP-Kmeans 9 / 14
- 12. . Resultados Experimentais Descoberta de pista utilizando GPS (K. Wagstaff et al. 2001) Sibelius Seraphini COP-Kmeans 10 / 14
- 13. . Limitações Sensível a ordem de atribuição Solucionado por (Hong e Kwong 2009), usando um conjunto de algoritmos de agrupamento Sibelius Seraphini COP-Kmeans 11 / 14
- 14. . Quando restrições são vantajosas? Mesmo número de restrições leva a diferentes desempenhos (K. L. Wagstaff, Basu e Davidson 2006) Inconsistência Média de restrições insatisfeitas utilizando o algoritmo sem restrições Incoerência Os pontos envolvidos na restrição ML deveriam estar perto, enquanto que pontos envolvidos na restrição CL deveriam estar afastados Sibelius Seraphini COP-Kmeans 12 / 14
- 15. . Agrupamento de Dados Semi-Supervisionado PC-KMeans - satisfação de restrição soft, i.e., algumas restrições podem ser quebradas (Bilenko, Basu e Mooney 2004) M-KMeans - aprendizagem de métrica (função de distância) utilizando as restrições (Bilenko, Basu e Mooney 2004) MPC-KMeans - abordagem hibrida - aprendizagem de métrica e de satisfação de restrição soft (Bilenko, Basu e Mooney 2004) Sibelius Seraphini COP-Kmeans 13 / 14
- 16. . Referências Mikhail Bilenko, Sugato Basu e Raymond J Mooney. “Integrating constraints and metric learning in semi-supervised clustering”. Em: Proceedings of the twenty-first international conference on Machine learning. ACM. 2004, p. 11. Yi Hong e Sam Kwong. “Learning assignment order of instances for the constrained k-means clustering algorithm”. Em: Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions on 39.2 (2009), pp. 568–574. Kiri Wagstaff et al. “Constrained k-means clustering with background knowledge”. Em: ICML. Vol. 1. 2001, pp. 577–584. Kiri L Wagstaff, Sugato Basu e Ian Davidson. “When is constrained clustering beneficial, and why?” Em: Ionosphere 58.60.1 (2006), pp. 62–3. Sibelius Seraphini COP-Kmeans 14 / 14