Leçon 1 sur 5
Du perceptron au réseau multicouche
Je sais décrire un neurone artificiel, faire apprendre un perceptron, expliquer pourquoi il ne suffit pas et calculer la sortie d'un réseau multicouche (propagation avant).
- 1 h 15
- 6 exercices corrigés
- QCM de 7 questions
À la fin de la leçon, vous saurez :
- Calculer la sortie d'un neurone artificiel avec ses poids, son biais et sa fonction d'activation
- Appliquer la règle d'apprentissage du perceptron et en connaître la limite (séparabilité linéaire, problème du XOR)
- Choisir une fonction d'activation (sigmoïde, tanh, ReLU, softmax) selon la couche et la tâche
- Écrire la propagation avant d'un perceptron multicouche sous forme matricielle
- Compter les paramètres d'un réseau dense
Avant de commencer : Algèbre linéaire (produit matrice-vecteur), calcul différentiel de base, cours d'apprentissage automatique (classification, jeu d'entraînement et de test), Python.
1Je découvre
Djoliba IA est une jeune entreprise installée à Kipé, dans la commune de Ratoma. Elle vient de signer avec une institution de microfinance de Kankan qui accorde de petits crédits à des commerçantes du grand marché et à des producteurs de riz de la Haute-Guinée. L'institution veut un outil qui, à partir de quelques informations sur un dossier (montant demandé, ancienneté du client, nombre de crédits déjà remboursés, revenus déclarés…), estime le risque qu'un crédit ne soit pas remboursé à temps.
Fanta, data scientist de l'équipe, a déjà essayé une régression logistique. Les résultats sont corrects, mais certains profils sont mal classés : le risque ne dépend pas des variables de façon simplement « additive ». Son responsable lui propose d'essayer un réseau de neurones. Avant d'utiliser une bibliothèque, Fanta veut comprendre ce qui se passe à l'intérieur : qu'est-ce qu'un neurone artificiel, comment apprend-il, et pourquoi empile-t-on plusieurs couches ?
Comment passe-t-on d'un neurone artificiel unique, le perceptron, à un réseau multicouche capable de représenter des relations non linéaires ?
2Je comprends
1. Le neurone artificiel
Un neurone artificiel reçoit un vecteur d'entrées x = (x1, …, xn), calcule une combinaison linéaire pondérée, puis applique une fonction d'activation g :
z = Σi=1n wi xi + b = w^top x + b, a = g(z)
- w = (w1, …, wn) : les poids, qui mesurent l'influence de chaque entrée ;
- b : le biais, qui déplace le seuil de décision ;
- z : la pré-activation ; a : l'activation (la sortie du neurone).
L'ensemble des points tels que w^top x + b = 0 est un hyperplan (une droite en dimension 2). Un neurone seul découpe donc l'espace des entrées en deux demi-espaces.
Exemple
Un neurone reçoit x = (2, 1) avec w = (0,5 ; -1) et b = 0,2.
Étape 1 : pré-activation z = 0,5 × 2 + (-1) × 1 + 0,2 = 1 - 1 + 0,2 = 0,2.
Étape 2 : avec la fonction seuil (1 si z > 0, sinon 0) : a = 1.
Étape 3 : avec la sigmoïde σ(z) = 1 / (1 + e^(-z)) : a = 1 / (1 + e^(-0,2)) ≈ 0,550.
Interprétation : la sigmoïde donne une sortie graduée entre 0 et 1, lisible comme une probabilité.
2. Le perceptron et sa règle d'apprentissage
Le perceptron, proposé par Frank Rosenblatt en 1958, est un neurone dont l'activation est la fonction seuil : y = 1 si z > 0, sinon y = 0. Il sert de classifieur binaire.
Pour l'entraîner, on parcourt les exemples (x, y) un par un et on corrige les paramètres seulement en cas d'erreur, avec un pas d'apprentissage η > 0 :
w ← w + η (y - y) x, b ← b + η (y - y)
Si y = y, rien ne change. Si le perceptron répond 0 au lieu de 1, on ajoute η x aux poids, ce qui augmente z pour cet exemple ; dans le cas inverse, on retranche η x.
Exemple
Apprendre la fonction ET (AND) : y = 1 seulement pour x = (1, 1). Départ : w = (0, 0), b = 0, η = 1.
Exemple (0,0), y = 0 : z = 0, ŷ = 0. Correct, pas de mise à jour.
Exemple (0,1) puis (1,0) : z = 0, ŷ = 0. Corrects.
Exemple (1,1), y = 1 : z = 0, ŷ = 0. Erreur y - ŷ = 1.
w ← (0, 0) + 1 × 1 × (1, 1) = (1, 1) ; b ← 0 + 1 = 1.
On recommence un passage (une « époque ») sur les quatre exemples, et ainsi de suite.
Au bout de cinq époques, on obtient w = (2, 1), b = -2 :
(0,0) : z = -2 ; (0,1) : z = -1 ; (1,0) : z = 0 ; (1,1) : z = 1. Les quatre sorties sont justes.
Théorème de convergence du perceptron. Si les données sont linéairement séparables (il existe un hyperplan qui sépare parfaitement les deux classes), l'algorithme trouve un tel hyperplan en un nombre fini de mises à jour. Sinon, il ne converge pas : les poids oscillent indéfiniment.
3. La limite : le problème du XOR
La fonction « OU exclusif » (XOR) vaut 1 quand exactement une des deux entrées vaut 1 :
| x1 | x2 | XOR |
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
Placez ces quatre points dans le plan : les points de classe 1, (0,1) et (1,0), sont sur une diagonale, ceux de classe 0 sur l'autre. Aucune droite ne les sépare. Preuve rapide : il faudrait b ≤ 0 (point (0,0)), w2 + b > 0 et w1 + b > 0, donc w1 + w2 + 2b > 0, soit w1 + w2 + b > -b ≥ 0 ; or le point (1,1) exige w1 + w2 + b ≤ 0. Contradiction.
Cette limite, mise en avant par Minsky et Papert dans leur livre Perceptrons (1969), a longtemps freiné la recherche. La solution consiste à combiner plusieurs neurones en couches :
x1 ──┬──> h1 = seuil(x1 + x2 - 0,5) (OU)
│ \
├──> h2 = seuil(x1 + x2 - 1,5) (ET) ──> y = seuil(h1 - h2 - 0,5)
x2 ──┘Vérification : pour (1,1), h1 = 1, h2 = 1, donc y = seuil(-0,5) = 0 ; pour (0,1), h1 = 1, h2 = 0, y = seuil(0,5) = 1. La couche cachée a transformé l'espace : dans le plan (h1, h2), les classes deviennent séparables par une droite.
4. Les fonctions d'activation
Le seuil n'est pas dérivable en 0 et a une dérivée nulle partout ailleurs : on ne peut pas l'entraîner par descente de gradient (leçon 2). On utilise des fonctions dérivables (au moins presque partout) et non linéaires.
| Fonction | Formule | Valeurs | Dérivée | Usage principal |
|---|---|---|---|---|
| Sigmoïde | σ(z) = 11+e-z | ]0, 1[ | σ(z)(1-σ(z)) | sortie d'une classification binaire |
| Tangente hyperbolique | tanh(z) | ]-1, 1[ | 1 - tanh2(z) | couches cachées (réseaux récurrents) |
| ReLU | max(0, z) | [0, +∞[ | 1 si z > 0, 0 si z < 0 | couches cachées (choix par défaut) |
| Identité | z | ℝ | 1 | sortie d'une régression |
| Softmax | ezkΣj ezj | probabilités de somme 1 | voir leçon 2 | sortie d'une classification à K classes |
Pourquoi la non-linéarité est-elle indispensable ? Si toutes les activations sont l'identité, deux couches donnent W2(W1 x + b1) + b2 = (W2 W1)x + (W2 b1 + b2) : c'est encore une seule application affine. Empiler des couches linéaires n'apporte aucune puissance supplémentaire.
Exemple
Softmax sur les scores z = (2, 1, 0) de trois classes de risque (faible, moyen, élevé).
Étape 1 : exponentielles e² ≈ 7,389 ; e¹ ≈ 2,718 ; e⁰ = 1. Somme ≈ 11,107.
Étape 2 : probabilités 7,389 / 11,107 ≈ 0,665 ; 2,718 / 11,107 ≈ 0,245 ; 1 / 11,107 ≈ 0,090.
Contrôle : 0,665 + 0,245 + 0,090 = 1,000. Classe prédite : « risque faible ».
5. Le perceptron multicouche et la propagation avant
Un perceptron multicouche (PMC, en anglais multilayer perceptron, MLP) est une suite de couches denses : chaque neurone d'une couche est relié à tous les neurones de la couche précédente. Pour la couche ℓ, avec a(0) = x :
z(ℓ) = W(ℓ) a(ℓ-1) + b(ℓ), a(ℓ) = g(ℓ)(z(ℓ))
Si la couche ℓ - 1 a nℓ-1 neurones et la couche ℓ en a n_ℓ, alors W(ℓ) est une matrice n_ℓ × nℓ-1 et b(ℓ) un vecteur de taille n_ℓ. Calculer successivement toutes les couches s'appelle la propagation avant (forward pass).
Exemple
Réseau 2-2-1 : x = (1, 2) ; couche cachée ReLU ; sortie sigmoïde.
W1 = [[0,5 ; -0,5], [1 ; 0,25]], b1 = (0 ; -1) ; w2 = (1 ; -2), b2 = 0,5.
Étape 1 : z1 = (0,5×1 - 0,5×2 + 0 ; 1×1 + 0,25×2 - 1) = (-0,5 ; 0,5).
Étape 2 : a1 = ReLU(z1) = (0 ; 0,5).
Étape 3 : z2 = 1×0 + (-2)×0,5 + 0,5 = -0,5.
Étape 4 : ŷ = σ(-0,5) = 1 / (1 + e^0,5) ≈ 0,378.
Avec un seuil de décision à 0,5, le dossier est classé dans la classe 0.
Théorème d'approximation universelle (Cybenko 1989, Hornik 1991) : un réseau à une seule couche cachée, avec une activation non linéaire adaptée et suffisamment de neurones, peut approcher d'aussi près que l'on veut toute fonction continue sur un domaine borné. Ce théorème garantit l'existence d'un bon réseau, mais ne dit ni combien de neurones il faut, ni comment trouver les poids. En pratique, les réseaux profonds (plusieurs couches) obtiennent souvent la même précision avec beaucoup moins de paramètres : c'est l'origine de l'expression apprentissage profond.
6. Compter les paramètres et écrire le réseau en Python
Une couche dense de nin entrées vers nout neurones a nin × nout poids et nout biais.
| Couche | Calcul | Paramètres |
|---|---|---|
| 784 → 128 | 784 × 128 + 128 | 100 480 |
| 128 → 10 | 128 × 10 + 10 | 1 290 |
| Total | 101 770 |
(784 = 28 × 28 pixels, le format classique des images de chiffres manuscrits.)
La propagation avant s'écrit en quelques lignes avec NumPy :
import numpy as np
def relu(z):
return np.maximum(0, z)
def sigmoide(z):
return 1 / (1 + np.exp(-z))
x = np.array([1.0, 2.0])
W1 = np.array([[0.5, -0.5], [1.0, 0.25]]); b1 = np.array([0.0, -1.0])
w2 = np.array([1.0, -2.0]); b2 = 0.5
a1 = relu(W1 @ x + b1) # couche cachée
y_chapeau = sigmoide(w2 @ a1 + b2)
print(round(y_chapeau, 3)) # 0.378Méthode
Calculer la sortie d'un réseau dense (propagation avant) :
- Vérifier les dimensions : W de la couche ℓ a autant de lignes que de neurones dans ℓ, autant de colonnes que d'entrées.
- Calculer z = W a + b pour la couche, neurone par neurone ou en matriciel.
- Appliquer l'activation de la couche (ReLU, tanh, sigmoïde, softmax…).
- Passer le résultat à la couche suivante et recommencer.
- Interpréter la sortie : probabilité (sigmoïde, softmax) ou valeur réelle (identité).
3Je retiens
Je retiens
Un neurone calcule z = wᵀx + b puis a = g(z) : poids, biais, activation.
Le perceptron (seuil) apprend par w ← w + η(y - ŷ)x ; il converge si les données sont linéairement séparables.
Le XOR n'est pas linéairement séparable : un neurone seul ne peut pas l'apprendre.
Une couche cachée transforme l'espace et rend le problème séparable.
Sans activation non linéaire, empiler des couches revient à une seule couche affine.
ReLU dans les couches cachées ; sigmoïde (binaire), softmax (K classes) ou identité (régression) en sortie.
Couche dense : n_in × n_out poids + n_out biais.
4Erreurs fréquentes
- Oublier le biais : sans b, l'hyperplan passe forcément par l'origine.
- Croire qu'empiler des couches linéaires rend le modèle plus puissant : il faut une activation non linéaire.
- Inverser les dimensions de W : pour z = W a, W a n_out lignes et n_in colonnes.
- Mettre une softmax en sortie d'une régression ou une ReLU en sortie d'une classification.
- Lire le théorème d'approximation universelle comme une garantie que l'entraînement trouvera le bon réseau.
5Je m’exerce
1Exercice 1
(Questions de cours)
a) Écrivez la sortie d'un neurone artificiel et nommez chaque élément.
b) Énoncez la règle d'apprentissage du perceptron. Dans quel cas l'algorithme converge-t-il ?
c) Pourquoi un réseau dont toutes les activations sont l'identité est-il équivalent à une seule couche ?
Voir le corrigéCacher le corrigé
a) a = g(w^top x + b) : x est le vecteur d'entrées, w les poids, b le biais, z = w^top x + b la pré-activation et g la fonction d'activation. b) w ← w + η(y - y)x et b ← b + η(y - y), appliquées exemple par exemple ; l'algorithme converge en un nombre fini de mises à jour si les données sont linéairement séparables. c) La composée d'applications affines est affine : W2(W1x + b1) + b2 = (W2W1)x + (W2b1 + b2), ce qui est la forme d'une seule couche.
2Exercice 2
Un neurone reçoit x = (3, -1, 2), avec w = (0,2 ; 0,4 ; -0,1) et b = 0,1. Calculez la pré-activation z, puis la sortie avec : a) la sigmoïde ; b) ReLU ; c) tanh. Donnez trois décimales.
Voir le corrigéCacher le corrigé
z = 0,2 × 3 + 0,4 × (-1) + (-0,1) × 2 + 0,1 = 0,6 - 0,4 - 0,2 + 0,1 = 0,1.
a) σ(0,1) = 1/(1 + e-0,1) ≈ 0,525. b) ReLU(0,1) = 0,100. c) tanh(0,1) ≈ 0,100 (plus précisément 0,0997 : pour z proche de 0, tanh z ≈ z).
3Exercice 3
Le modèle de risque de crédit de Djoliba IA prend 30 variables en entrée et a deux couches cachées de 64 puis 32 neurones, et une sortie softmax à 3 classes (risque faible, moyen, élevé). Combien de paramètres le réseau contient-il ? Détaillez couche par couche.
Voir le corrigéCacher le corrigé
| Couche | Calcul | Paramètres |
|---|---|---|
| 30 → 64 | 30 × 64 + 64 | 1 984 |
| 64 → 32 | 64 × 32 + 32 | 2 080 |
| 32 → 3 | 32 × 3 + 3 | 99 |
| Total | 4 163 |
4Exercice 4
Montrez que la fonction OU (OR) est linéairement séparable en donnant des poids et un biais qui la réalisent avec un perceptron. Faites ensuite une mise à jour de la règle du perceptron en partant de w = (0, 0), b = -1, η = 1, sur l'exemple x = (0, 1), y = 1.
Voir le corrigéCacher le corrigé
Avec w = (1, 1) et b = -0,5 : (0,0) donne z = -0,5 donc 0 ; (0,1) et (1,0) donnent 0,5 donc 1 ; (1,1) donne 1,5 donc 1. C'est bien OU, donc la fonction est linéairement séparable (la droite x1 + x2 = 0,5 sépare les classes).
Mise à jour : z = 0 × 0 + 0 × 1 - 1 = -1, donc y = 0 ; erreur y - y = 1. Alors w ← (0, 0) + 1 × (0, 1) = (0, 1) et b ← -1 + 1 = 0. Nouveau calcul sur cet exemple : z = 1 > 0, la réponse est désormais juste.
5Exercice 5
Calculez la softmax des scores z = (2, 2, 0). Que remarquez-vous pour les deux premières classes ? Que se passe-t-il si l'on ajoute 10 à chaque score ?
Voir le corrigéCacher le corrigé
e2 ≈ 7,389 (deux fois) et e0 = 1 ; somme ≈ 15,778. Probabilités : ≈ 0,468 ; 0,468 ; 0,063. Deux scores égaux donnent deux probabilités égales. Ajouter 10 à chaque score ne change rien : ezk + 10Σj ezj + 10 = e10 ezke10Σj ezj. Cette propriété est utilisée dans les bibliothèques, qui retranchent le plus grand score avant de calculer les exponentielles pour éviter les dépassements numériques.
6Exercice 6
(Type examen) Un réseau 2-2-1 a une couche cachée ReLU et une sortie sigmoïde. Paramètres : W1 = beginpmatrix 1 & -1
0,5 & 1 endpmatrix, b1 = (-0,5 ; -3), w2 = (2 ; 1), b2 = -0,5.
a) Calculez la sortie pour x = (2, 1) en détaillant z1, a1, z2 et y.
b) Avec un seuil à 0,5, quelle classe est prédite ?
c) Combien ce réseau a-t-il de paramètres ?
d) Expliquez pourquoi ce réseau peut représenter des frontières de décision qu'une régression logistique ne peut pas représenter.
Voir le corrigéCacher le corrigé
a) z1 = (1 × 2 - 1 × 1 - 0,5 ; 0,5 × 2 + 1 × 1 - 3) = (0,5 ; -1). a1 = ReLU(z1) = (0,5 ; 0). z2 = 2 × 0,5 + 1 × 0 - 0,5 = 0,5. y = σ(0,5) = 1/(1 + e-0,5) ≈ 0,622.
b) 0,622 > 0,5 : classe 1.
c) Couche cachée : 2 × 2 + 2 = 6 ; sortie : 2 + 1 = 3 ; total 9 paramètres.
d) La régression logistique est un seul neurone sigmoïde : sa frontière w^top x + b = 0 est une droite. Ici, chaque neurone ReLU découpe le plan selon une droite et la sortie combine ces morceaux : la frontière de décision est une ligne brisée (affine par morceaux), qui peut par exemple séparer les classes du XOR.
Cherchez d’abord seul, sur votre cahier, puis ouvrez le corrigé pour comparer.
6Je vérifie
Choisissez une réponse pour chaque question : la correction s’affiche aussitôt.
Karamö, votre enseignant
Il a lu cette leçon. Posez-lui votre question : il vous répond ici.
Connectez-vous pour poser vos questions à Karamö.
Avec un compte Kharandi gratuit, vous cochez les leçons terminées et vous suivez votre progression, cours par cours.