3-classLineaire3-classLineaire3-classLineaire3-classLineaire3-classLineaire
0 j'aime12 vues
Le document traite de l'application de modèles linéaires à la classification, en distinguant la classification binaire et multi-classes. Il aborde des concepts tels que la régression logistique pour la classification binaire et la fonction softmax pour la classification multi-classes, tout en soulignant l'utilisation de l'entropie croisée comme fonction de perte. Finalement, il mentionne la généralisation des modèles linéaires pour diverses tâches de classification.
![Classification linéaire: Loss function?
• output du modèle:prédiction des probabilités des classes
𝜎 𝑧 = (
𝑒
∑ 𝑒
, … . ,
𝑒
∑ 𝑒
)
p= ([𝑦 = 1], … . , [𝑦 = 𝐾])
-∑ 𝑦 = 𝑘 𝑙𝑜𝑔 ∑
=- log
∑
• La valeur des targets pour la probabilité des classes
• La similarité entre z et p peut être mesurée par l’entropie croisée (Cross entropy
[a]:Iverson brackets:
[a]=
1 Si a est true
0 Si a est false
87](https://image.slidesharecdn.com/3-classlineaire-241114133646-a727ef48/85/3-classLineaire3-classLineaire3-classLineaire3-classLineaire3-classLineaire-11-320.jpg)
3-classLineaire3-classLineaire3-classLineaire3-classLineaire3-classLineaire
- 2. Classification linéaire: Introduction Question: Comment adopter le modèle linéaire à la classification? 78
- 3. Classification linéaire: Classification binaire Une classification binaire a 2 classes Dans ce genre de problème, on aura un Dataset contenant une variable target 𝒚 pouvant prendre 2 valeurs seulement, 79 (𝑦′ = {−1,1}): • 𝑔 𝑥 = 𝑠𝑖𝑔𝑛 𝑦 − 𝑤 𝑥 • 𝑑 + 1 𝑝𝑎𝑟𝑎𝑚è𝑡𝑟𝑒𝑠 Exemple: Pour une Dataset d’emails • si 𝑦 = -1, alors l’email n’est pas un spam • si 𝑦 = 1, alors l’email est un spam
- 4. Classification linéaire: Classification binaire Classification binaire: ( ): • • 80 Exemple: Pour une Dataset d’emails • si 𝑦 = -1, alors l’email n’est pas un spam • si 𝑦 = 1, alors l’email est un spam
- 5. Classification binaire:Logistic Regression(1) le modèle de régression logistique est utilisé pour résoudre les problèmes de classification binaire, Le modèle est linéaire 𝑔 𝑥 = 𝑤 𝑥 La fonction d’activation:on applique la fonction logistique (aussi appelé fonction sigmoïde ou tout simplement sigma 𝝈) sur la sortie linéaire 𝜎 𝑥 = 1 1 + 𝑒 Cette fonction permet de transformer le modèle linéaire en une fonction non linéaire toujours comprise en 0 et 1. 81
- 6. Classification binaire:Logistic Regression(2) • A partir de cette fonction, il est possible de définir un seuil, • Typiquement, on définit le seuil à 0.5 comme ceci : 𝒚=-1 𝒔𝒊 𝝈(𝑿.𝜽)<𝟎.𝟓 𝒚=𝟏 𝒔𝒊 𝝈(𝑿.𝜽)≥𝟎.𝟓 82
- 7. Classification linéaire: Classification multiple 83
- 8. Classification linéaire:Classification multi-classes (Kclasses) • Classification multi-classes ( 𝑦 ∈ {1, , , , , 𝐾}): • Nombre de paramètres: 𝐾 × 𝑑 𝑤 ∈ ℝ • Exemple: 𝑧 = 7, −7,5,10 𝑠𝑐𝑜𝑟𝑒𝑠 𝑔 𝑥 = 3 84 𝑔
- 9. Classification multi-classes:SoftMaxfunction • Calculer des scores positifs, compris entre 0 et 1 sous forme d’une distribution de probabilités (logits) à partir du modèle linéaire: • On applique SoftMax transform 𝑧 = (𝑤 𝑥, … . , 𝑤 𝑥) (𝑧 , 𝑧 … . , 𝑧 ) (𝑒 , … … . , 𝑒 ) 𝜎 𝑧 = ( 𝑒 ∑ 𝑒 , … . , 𝑒 ∑ 𝑒 ) SoftMax function 85
- 10. Classification linéaire: softmaxfunction 𝜎 𝑧 = ( 𝑒 ∑ 𝑒 , … . , 𝑒 ∑ 𝑒 ) Exemple 𝑧 = (7, −7.5, 10) 𝜎 𝑧 = (0.05, 0, 0.95) 86
- 11. Classification linéaire: Loss function? • output du modèle:prédiction des probabilités des classes 𝜎 𝑧 = ( 𝑒 ∑ 𝑒 , … . , 𝑒 ∑ 𝑒 ) p= ([𝑦 = 1], … . , [𝑦 = 𝐾]) -∑ 𝑦 = 𝑘 𝑙𝑜𝑔 ∑ =- log ∑ • La valeur des targets pour la probabilité des classes • La similarité entre z et p peut être mesurée par l’entropie croisée (Cross entropy [a]:Iverson brackets: [a]= 1 Si a est true 0 Si a est false 87
- 12. Classification linéaire: cross entropyexemple • 88
- 13. Classification linéaire:crossentropypour classification • La fonction cross-entropy est différentiable et peut être utilisée comme Loss Function 𝐿 𝑤 = − 𝑦 = 𝑘 𝑙𝑜𝑔 𝑒 ∑ 𝑒 − 𝑙𝑜𝑔 𝑒 ∑ 𝑒 → min 𝐿(𝑤) 89
- 14. Classification linéaire: Récapitulatif • Les modèles linéaires peuvent facilement généralisés pour les tâches de classification • Régression---------- Loss Function : MSE (Mean Squared Error) • Classification------- Loss Function: Cross Entropy 90