La Régression Logistique

De la prédiction de nombres à la classification

📊 Rappel : Régression Linéaire

Prédire des valeurs continues : Prix d'une maison (262 000 DH), Température (22,5°C)

🎯 Aujourd'hui : La Classification

  • Email : Spam ou Pas spam
  • Transaction : Fraude ou Légitime
  • Client : Va partir ou Va rester
1
Problème
2
Solution
3
Apprentissage
4
Évaluation
1 / 16

💳 Détection de Fraude Bancaire

Un exemple concret

🎯 Le Problème

Créer un système qui détecte automatiquement les transactions frauduleuses

📊 Les Données

X = Montant
y = 0 (Légitime) ou 1 (Fraude)

📋 Exemples

2 000 DH Légitime
5 000 DH Légitime
15 000 DH Fraude
20 000 DH Fraude
🎯 Prédire pour une nouvelle transaction : Fraude ou Légitime ?
2 / 16

📈 Visualisation des Données

Représentation graphique

✓ Observations

  • Petits montants → Légitimes (y=0)
  • Gros montants → Fraudes (y=1)
  • Zone de transition

❓ Question

Comment séparer ces deux classes ?

3 / 16

⚠️ Problème avec la Régression Linéaire

❌ Les 3 Problèmes

⚡

Problème 1

Valeurs hors [0,1]

📊

Problème 2

Sensible aux extrêmes

🎲

Problème 3

Pas de probabilité

💡 Besoin d'un modèle qui reste TOUJOURS entre 0 et 1 !
4 / 16

✨ La Fonction Sigmoïde

Une courbe en S magique

🎯 Propriétés

✓ Sortie entre 0 et 1
📊 Probabilité interprétable
⚡ Transition douce
🎨 Forme en S
σ(z) = 1 / (1 + e-z) où z = wx + b
5 / 16

🔢 La Sigmoïde en Action

Exemples de transformation

Comment ça marche ?

1
z = wx + b
2
σ(z)
3
Probabilité

📊 Exemples

z = -10 → σ(z) ≈ 0.00005 ≈ 0% fraude
z = -2 → σ(z) ≈ 0.12 12% fraude
z = 0 → σ(z) = 0.50 50% fraude
z = 2 → σ(z) ≈ 0.88 88% fraude
z = 10 → σ(z) ≈ 0.99995 ≈ 100% fraude
6 / 16

🎯 Seuil de Décision

Transformer probabilité en décision

📏 Règle

Si σ(z) ≥ 0.5 → FRAUDE (1)
Si σ(z) < 0.5 → LÉGITIME (0)
Montant z σ(z) Probabilité Décision
3 000 DH -3 0.05 5% Légitime (0)
8 000 DH -0.5 0.38 38% Légitime (0)
12 000 DH 1 0.73 73% Fraude (1)
18 000 DH 3 0.95 95% Fraude (1)

💡 Avantage

95% → Très confiant (bloquer)
51% → Peu confiant (vérifier manuellement)

7 / 16

📉 La Fonction Coût

Mesurer les erreurs du modèle

❌ Régression Linéaire

Distance au carré
(prédiction - vrai)²

Ne marche pas avec sigmoïde !

✅ Classification

Entropie Croisée
(Log Loss)

Adaptée à la sigmoïde !

💡 L'idée intuitive

Si y=1 (fraude réelle) :
• Modèle prédit 0.9 → Petite erreur ✓
• Modèle prédit 0.1 → Grosse erreur ✗

Si y=0 (légitime réel) :
• Modèle prédit 0.1 → Petite erreur ✓
• Modèle prédit 0.9 → Grosse erreur ✗
Loss = -1/m Σ [y·log(σ) + (1-y)·log(1-σ)]
Plus le modèle se trompe, plus la Loss est grande !
8 / 16

🔄 L'Apprentissage Automatique

Trouver les meilleurs paramètres

1
Initialisation
2
Calcul gradient
3
Mise à jour
4
Convergence

⚙️ Le Processus

  • Étape 1 : Paramètres w et b au hasard → Loss élevée
  • Étape 2 : Calculer le gradient (direction de descente)
  • Étape 3 : Ajuster w et b → Loss diminue
  • Étape 4 : Répéter jusqu'à convergence
wt+1 = wt - η × ∂Loss/∂w
bt+1 = bt - η × ∂Loss/∂b

🎯 Même algorithme que la régression linéaire !

Seule la fonction coût change

9 / 16

📊 L'Amélioration Progressive

Le modèle apprend au fil des itérations

Itération 0
0.8
Loss
Itération 50
0.3
Loss
Itération 100
0.1
Loss
Itération 200
0.05
Loss ✓
La courbe sigmoïde sépare de mieux en mieux les deux classes !
10 / 16

🔢 Plusieurs Attributs

Au-delà d'un seul critère

💳 Exemple : Détection de fraude réaliste

  • x₁ = Montant de la transaction
  • x₂ = Heure de la transaction (0-24h)
  • x₃ = Pays d'origine
  • x₄ = Historique du client
  • x₅ = Type de marchand
z = w₁x₁ + w₂x₂ + w₃x₃ + w₄x₄ + w₅x₅ + b
σ(z) = 1 / (1 + e-z)

🎯 Le principe reste le même !

Juste plus de paramètres à apprendre

11 / 16

📏 Évaluer le Modèle

Comment savoir si c'est bon ?

📊 Matrice de Confusion

Prédit Légitime Prédit Fraude
Réel Légitime 950 ✓ 50 ✗
Réel Fraude 20 ✗ 80 ✓
Exactitude
96%
(950+80)/1100
Précision
61%
80/(80+50)
Rappel
80%
80/(80+20)
F1-Score
69%
Moyenne
12 / 16

⚖️ Régression Linéaire VS Logistique

Récapitulatif des différences

Caractéristique Régression Linéaire Régression Logistique
Objectif Prédire un nombre Prédire une catégorie
Modèle f(x) = wx + b σ(wx + b)
Sortie -∞ à +∞ 0 à 1 (probabilité)
Fonction coût Erreur quadratique Entropie croisée
Exemples Prix, température Spam, fraude
Optimisation Descente de gradient Descente de gradient
Même algorithme d'optimisation, fonctions différentes !
13 / 16

🌍 Applications Concrètes

Où utilise-t-on la régression logistique ?

🏦 Finance / Banque

  • Détection de fraude
  • Risque de crédit
  • Fermeture de compte

🏥 Assurance

  • Sinistres frauduleux
  • Résiliation contrat
  • Évaluation risque

📢 Marketing

  • Clic sur publicité
  • Achat client
  • Ouverture email

🏥 Santé

  • Diagnostic maladie
  • Risque complication
  • Patients à risque

🎯 Point commun

Tous ces problèmes ont 2 résultats possibles (classification binaire)

14 / 16

⚠️ Limites de la Régression Logistique

Quand ça ne suffit pas

✅ Ça marche bien

Classes linéairement séparables

⭕ / ❌

Une ligne droite sépare !

❌ Ça ne marche pas

Classes non linéaires

❌ ⭕ ❌
⭕ ❌ ⭕
❌ ⭕ ❌

Impossible avec une ligne !

🔧 Solutions pour cas complexes

  • Ajouter des caractéristiques polynomiales
  • Utiliser des arbres de décision
  • Passer aux réseaux de neurones (Deep Learning)

💡 Mais...

La régression logistique reste un excellent point de départ :
Simple, rapide, efficace dans beaucoup de cas !

15 / 16

🎯 Conclusion

Ce qu'il faut retenir

📝 Les Points Clés

  • Classification, pas régression (malgré le nom !)
  • Sigmoïde transforme tout en probabilité [0,1]
  • Seuil à 0.5 pour décider (≥0.5 → Classe 1)
  • Entropie croisée comme fonction coût
  • Descente de gradient pour optimiser
  • Applications multiples en finance, assurance, santé...
📊
Sigmoïde
🎯
Classification
📉
Log Loss
⚡
Gradient

🚀 Prochaine Étape

Vous maîtrisez maintenant la régression linéaire ET logistique !
Prêt pour des modèles plus complexes...

16 / 16