Aller au contenu
Apprentissage profond · L3

Leçon 1 sur 5

Du perceptron au réseau multicouche

Je sais décrire un neurone artificiel, faire apprendre un perceptron, expliquer pourquoi il ne suffit pas et calculer la sortie d'un réseau multicouche (propagation avant).

  • 1 h 15
  • 6 exercices corrigés
  • QCM de 7 questions

À la fin de la leçon, vous saurez :

  • Calculer la sortie d'un neurone artificiel avec ses poids, son biais et sa fonction d'activation
  • Appliquer la règle d'apprentissage du perceptron et en connaître la limite (séparabilité linéaire, problème du XOR)
  • Choisir une fonction d'activation (sigmoïde, tanh, ReLU, softmax) selon la couche et la tâche
  • Écrire la propagation avant d'un perceptron multicouche sous forme matricielle
  • Compter les paramètres d'un réseau dense

Avant de commencer : Algèbre linéaire (produit matrice-vecteur), calcul différentiel de base, cours d'apprentissage automatique (classification, jeu d'entraînement et de test), Python.

1Je découvre

Djoliba IA est une jeune entreprise installée à Kipé, dans la commune de Ratoma. Elle vient de signer avec une institution de microfinance de Kankan qui accorde de petits crédits à des commerçantes du grand marché et à des producteurs de riz de la Haute-Guinée. L'institution veut un outil qui, à partir de quelques informations sur un dossier (montant demandé, ancienneté du client, nombre de crédits déjà remboursés, revenus déclarés…), estime le risque qu'un crédit ne soit pas remboursé à temps.

Fanta, data scientist de l'équipe, a déjà essayé une régression logistique. Les résultats sont corrects, mais certains profils sont mal classés : le risque ne dépend pas des variables de façon simplement « additive ». Son responsable lui propose d'essayer un réseau de neurones. Avant d'utiliser une bibliothèque, Fanta veut comprendre ce qui se passe à l'intérieur : qu'est-ce qu'un neurone artificiel, comment apprend-il, et pourquoi empile-t-on plusieurs couches ?

Comment passe-t-on d'un neurone artificiel unique, le perceptron, à un réseau multicouche capable de représenter des relations non linéaires ?

2Je comprends

1. Le neurone artificiel

Un neurone artificiel reçoit un vecteur d'entrées x = (x1, …, xn), calcule une combinaison linéaire pondérée, puis applique une fonction d'activation g :

z = Σi=1n wi xi + b = w^top x + b, a = g(z)

  • w = (w1, …, wn) : les poids, qui mesurent l'influence de chaque entrée ;
  • b : le biais, qui déplace le seuil de décision ;
  • z : la pré-activation ; a : l'activation (la sortie du neurone).

L'ensemble des points tels que w^top x + b = 0 est un hyperplan (une droite en dimension 2). Un neurone seul découpe donc l'espace des entrées en deux demi-espaces.

Exemple

Un neurone reçoit x = (2, 1) avec w = (0,5 ; -1) et b = 0,2.

Étape 1 : pré-activation z = 0,5 × 2 + (-1) × 1 + 0,2 = 1 - 1 + 0,2 = 0,2.

Étape 2 : avec la fonction seuil (1 si z > 0, sinon 0) : a = 1.

Étape 3 : avec la sigmoïde σ(z) = 1 / (1 + e^(-z)) : a = 1 / (1 + e^(-0,2)) ≈ 0,550.

Interprétation : la sigmoïde donne une sortie graduée entre 0 et 1, lisible comme une probabilité.

2. Le perceptron et sa règle d'apprentissage

Le perceptron, proposé par Frank Rosenblatt en 1958, est un neurone dont l'activation est la fonction seuil : y = 1 si z > 0, sinon y = 0. Il sert de classifieur binaire.

Pour l'entraîner, on parcourt les exemples (x, y) un par un et on corrige les paramètres seulement en cas d'erreur, avec un pas d'apprentissage η > 0 :

w ← w + η (y - y) x, b ← b + η (y - y)

Si y = y, rien ne change. Si le perceptron répond 0 au lieu de 1, on ajoute η x aux poids, ce qui augmente z pour cet exemple ; dans le cas inverse, on retranche η x.

Exemple

Apprendre la fonction ET (AND) : y = 1 seulement pour x = (1, 1). Départ : w = (0, 0), b = 0, η = 1.

Exemple (0,0), y = 0 : z = 0, ŷ = 0. Correct, pas de mise à jour.

Exemple (0,1) puis (1,0) : z = 0, ŷ = 0. Corrects.

Exemple (1,1), y = 1 : z = 0, ŷ = 0. Erreur y - ŷ = 1.

w ← (0, 0) + 1 × 1 × (1, 1) = (1, 1) ; b ← 0 + 1 = 1.

On recommence un passage (une « époque ») sur les quatre exemples, et ainsi de suite.

Au bout de cinq époques, on obtient w = (2, 1), b = -2 :

(0,0) : z = -2 ; (0,1) : z = -1 ; (1,0) : z = 0 ; (1,1) : z = 1. Les quatre sorties sont justes.

Théorème de convergence du perceptron. Si les données sont linéairement séparables (il existe un hyperplan qui sépare parfaitement les deux classes), l'algorithme trouve un tel hyperplan en un nombre fini de mises à jour. Sinon, il ne converge pas : les poids oscillent indéfiniment.

3. La limite : le problème du XOR

La fonction « OU exclusif » (XOR) vaut 1 quand exactement une des deux entrées vaut 1 :

x1x2XOR
000
011
101
110

Placez ces quatre points dans le plan : les points de classe 1, (0,1) et (1,0), sont sur une diagonale, ceux de classe 0 sur l'autre. Aucune droite ne les sépare. Preuve rapide : il faudrait b ≤ 0 (point (0,0)), w2 + b > 0 et w1 + b > 0, donc w1 + w2 + 2b > 0, soit w1 + w2 + b > -b ≥ 0 ; or le point (1,1) exige w1 + w2 + b ≤ 0. Contradiction.

Cette limite, mise en avant par Minsky et Papert dans leur livre Perceptrons (1969), a longtemps freiné la recherche. La solution consiste à combiner plusieurs neurones en couches :

  x1 ──┬──> h1 = seuil(x1 + x2 - 0,5)   (OU)
       │                                  \
       ├──> h2 = seuil(x1 + x2 - 1,5)   (ET) ──> y = seuil(h1 - h2 - 0,5)
  x2 ──┘

Vérification : pour (1,1), h1 = 1, h2 = 1, donc y = seuil(-0,5) = 0 ; pour (0,1), h1 = 1, h2 = 0, y = seuil(0,5) = 1. La couche cachée a transformé l'espace : dans le plan (h1, h2), les classes deviennent séparables par une droite.

4. Les fonctions d'activation

Le seuil n'est pas dérivable en 0 et a une dérivée nulle partout ailleurs : on ne peut pas l'entraîner par descente de gradient (leçon 2). On utilise des fonctions dérivables (au moins presque partout) et non linéaires.

FonctionFormuleValeursDérivéeUsage principal
Sigmoïdeσ(z) = 11+e-z]0, 1[σ(z)(1-σ(z))sortie d'une classification binaire
Tangente hyperboliquetanh(z)]-1, 1[1 - tanh2(z)couches cachées (réseaux récurrents)
ReLUmax(0, z)[0, +∞[1 si z > 0, 0 si z < 0couches cachées (choix par défaut)
Identitézℝ1sortie d'une régression
SoftmaxezkΣj ezjprobabilités de somme 1voir leçon 2sortie d'une classification à K classes

Pourquoi la non-linéarité est-elle indispensable ? Si toutes les activations sont l'identité, deux couches donnent W2(W1 x + b1) + b2 = (W2 W1)x + (W2 b1 + b2) : c'est encore une seule application affine. Empiler des couches linéaires n'apporte aucune puissance supplémentaire.

Exemple

Softmax sur les scores z = (2, 1, 0) de trois classes de risque (faible, moyen, élevé).

Étape 1 : exponentielles e² ≈ 7,389 ; e¹ ≈ 2,718 ; e⁰ = 1. Somme ≈ 11,107.

Étape 2 : probabilités 7,389 / 11,107 ≈ 0,665 ; 2,718 / 11,107 ≈ 0,245 ; 1 / 11,107 ≈ 0,090.

Contrôle : 0,665 + 0,245 + 0,090 = 1,000. Classe prédite : « risque faible ».

5. Le perceptron multicouche et la propagation avant

Un perceptron multicouche (PMC, en anglais multilayer perceptron, MLP) est une suite de couches denses : chaque neurone d'une couche est relié à tous les neurones de la couche précédente. Pour la couche ℓ, avec a(0) = x :

z(ℓ) = W(ℓ) a(ℓ-1) + b(ℓ), a(ℓ) = g(ℓ)(z(ℓ))

Si la couche ℓ - 1 a nℓ-1 neurones et la couche ℓ en a n_ℓ, alors W(ℓ) est une matrice n_ℓ × nℓ-1 et b(ℓ) un vecteur de taille n_ℓ. Calculer successivement toutes les couches s'appelle la propagation avant (forward pass).

Exemple

Réseau 2-2-1 : x = (1, 2) ; couche cachée ReLU ; sortie sigmoïde.

W1 = [[0,5 ; -0,5], [1 ; 0,25]], b1 = (0 ; -1) ; w2 = (1 ; -2), b2 = 0,5.

Étape 1 : z1 = (0,5×1 - 0,5×2 + 0 ; 1×1 + 0,25×2 - 1) = (-0,5 ; 0,5).

Étape 2 : a1 = ReLU(z1) = (0 ; 0,5).

Étape 3 : z2 = 1×0 + (-2)×0,5 + 0,5 = -0,5.

Étape 4 : ŷ = σ(-0,5) = 1 / (1 + e^0,5) ≈ 0,378.

Avec un seuil de décision à 0,5, le dossier est classé dans la classe 0.

Théorème d'approximation universelle (Cybenko 1989, Hornik 1991) : un réseau à une seule couche cachée, avec une activation non linéaire adaptée et suffisamment de neurones, peut approcher d'aussi près que l'on veut toute fonction continue sur un domaine borné. Ce théorème garantit l'existence d'un bon réseau, mais ne dit ni combien de neurones il faut, ni comment trouver les poids. En pratique, les réseaux profonds (plusieurs couches) obtiennent souvent la même précision avec beaucoup moins de paramètres : c'est l'origine de l'expression apprentissage profond.

6. Compter les paramètres et écrire le réseau en Python

Une couche dense de nin entrées vers nout neurones a nin × nout poids et nout biais.

CoucheCalculParamètres
784 → 128784 × 128 + 128100 480
128 → 10128 × 10 + 101 290
Total101 770

(784 = 28 × 28 pixels, le format classique des images de chiffres manuscrits.)

La propagation avant s'écrit en quelques lignes avec NumPy :

import numpy as np

def relu(z):
    return np.maximum(0, z)

def sigmoide(z):
    return 1 / (1 + np.exp(-z))

x = np.array([1.0, 2.0])
W1 = np.array([[0.5, -0.5], [1.0, 0.25]]); b1 = np.array([0.0, -1.0])
w2 = np.array([1.0, -2.0]); b2 = 0.5

a1 = relu(W1 @ x + b1)        # couche cachée
y_chapeau = sigmoide(w2 @ a1 + b2)
print(round(y_chapeau, 3))    # 0.378

Méthode

Calculer la sortie d'un réseau dense (propagation avant) :

  1. Vérifier les dimensions : W de la couche ℓ a autant de lignes que de neurones dans ℓ, autant de colonnes que d'entrées.
  2. Calculer z = W a + b pour la couche, neurone par neurone ou en matriciel.
  3. Appliquer l'activation de la couche (ReLU, tanh, sigmoïde, softmax…).
  4. Passer le résultat à la couche suivante et recommencer.
  5. Interpréter la sortie : probabilité (sigmoïde, softmax) ou valeur réelle (identité).

3Je retiens

Je retiens

Un neurone calcule z = wᵀx + b puis a = g(z) : poids, biais, activation.

Le perceptron (seuil) apprend par w ← w + η(y - ŷ)x ; il converge si les données sont linéairement séparables.

Le XOR n'est pas linéairement séparable : un neurone seul ne peut pas l'apprendre.

Une couche cachée transforme l'espace et rend le problème séparable.

Sans activation non linéaire, empiler des couches revient à une seule couche affine.

ReLU dans les couches cachées ; sigmoïde (binaire), softmax (K classes) ou identité (régression) en sortie.

Couche dense : n_in × n_out poids + n_out biais.

4Erreurs fréquentes

  • Oublier le biais : sans b, l'hyperplan passe forcément par l'origine.
  • Croire qu'empiler des couches linéaires rend le modèle plus puissant : il faut une activation non linéaire.
  • Inverser les dimensions de W : pour z = W a, W a n_out lignes et n_in colonnes.
  • Mettre une softmax en sortie d'une régression ou une ReLU en sortie d'une classification.
  • Lire le théorème d'approximation universelle comme une garantie que l'entraînement trouvera le bon réseau.

5Je m’exerce

1Exercice 1

(Questions de cours)

a) Écrivez la sortie d'un neurone artificiel et nommez chaque élément.

b) Énoncez la règle d'apprentissage du perceptron. Dans quel cas l'algorithme converge-t-il ?

c) Pourquoi un réseau dont toutes les activations sont l'identité est-il équivalent à une seule couche ?

Voir le corrigéCacher le corrigé

a) a = g(w^top x + b) : x est le vecteur d'entrées, w les poids, b le biais, z = w^top x + b la pré-activation et g la fonction d'activation. b) w ← w + η(y - y)x et b ← b + η(y - y), appliquées exemple par exemple ; l'algorithme converge en un nombre fini de mises à jour si les données sont linéairement séparables. c) La composée d'applications affines est affine : W2(W1x + b1) + b2 = (W2W1)x + (W2b1 + b2), ce qui est la forme d'une seule couche.

2Exercice 2

Un neurone reçoit x = (3, -1, 2), avec w = (0,2 ; 0,4 ; -0,1) et b = 0,1. Calculez la pré-activation z, puis la sortie avec : a) la sigmoïde ; b) ReLU ; c) tanh. Donnez trois décimales.

Voir le corrigéCacher le corrigé

z = 0,2 × 3 + 0,4 × (-1) + (-0,1) × 2 + 0,1 = 0,6 - 0,4 - 0,2 + 0,1 = 0,1.

a) σ(0,1) = 1/(1 + e-0,1) ≈ 0,525. b) ReLU(0,1) = 0,100. c) tanh(0,1) ≈ 0,100 (plus précisément 0,0997 : pour z proche de 0, tanh z ≈ z).

3Exercice 3

Le modèle de risque de crédit de Djoliba IA prend 30 variables en entrée et a deux couches cachées de 64 puis 32 neurones, et une sortie softmax à 3 classes (risque faible, moyen, élevé). Combien de paramètres le réseau contient-il ? Détaillez couche par couche.

Voir le corrigéCacher le corrigé
CoucheCalculParamètres
30 → 6430 × 64 + 641 984
64 → 3264 × 32 + 322 080
32 → 332 × 3 + 399
Total4 163

4Exercice 4

Montrez que la fonction OU (OR) est linéairement séparable en donnant des poids et un biais qui la réalisent avec un perceptron. Faites ensuite une mise à jour de la règle du perceptron en partant de w = (0, 0), b = -1, η = 1, sur l'exemple x = (0, 1), y = 1.

Voir le corrigéCacher le corrigé

Avec w = (1, 1) et b = -0,5 : (0,0) donne z = -0,5 donc 0 ; (0,1) et (1,0) donnent 0,5 donc 1 ; (1,1) donne 1,5 donc 1. C'est bien OU, donc la fonction est linéairement séparable (la droite x1 + x2 = 0,5 sépare les classes).

Mise à jour : z = 0 × 0 + 0 × 1 - 1 = -1, donc y = 0 ; erreur y - y = 1. Alors w ← (0, 0) + 1 × (0, 1) = (0, 1) et b ← -1 + 1 = 0. Nouveau calcul sur cet exemple : z = 1 > 0, la réponse est désormais juste.

5Exercice 5

Calculez la softmax des scores z = (2, 2, 0). Que remarquez-vous pour les deux premières classes ? Que se passe-t-il si l'on ajoute 10 à chaque score ?

Voir le corrigéCacher le corrigé

e2 ≈ 7,389 (deux fois) et e0 = 1 ; somme ≈ 15,778. Probabilités : ≈ 0,468 ; 0,468 ; 0,063. Deux scores égaux donnent deux probabilités égales. Ajouter 10 à chaque score ne change rien : ezk + 10Σj ezj + 10 = e10 ezke10Σj ezj. Cette propriété est utilisée dans les bibliothèques, qui retranchent le plus grand score avant de calculer les exponentielles pour éviter les dépassements numériques.

6Exercice 6

(Type examen) Un réseau 2-2-1 a une couche cachée ReLU et une sortie sigmoïde. Paramètres : W1 = beginpmatrix 1 & -1
0,5 & 1 endpmatrix
, b1 = (-0,5 ; -3), w2 = (2 ; 1), b2 = -0,5.

a) Calculez la sortie pour x = (2, 1) en détaillant z1, a1, z2 et y.

b) Avec un seuil à 0,5, quelle classe est prédite ?

c) Combien ce réseau a-t-il de paramètres ?

d) Expliquez pourquoi ce réseau peut représenter des frontières de décision qu'une régression logistique ne peut pas représenter.

Voir le corrigéCacher le corrigé

a) z1 = (1 × 2 - 1 × 1 - 0,5 ; 0,5 × 2 + 1 × 1 - 3) = (0,5 ; -1). a1 = ReLU(z1) = (0,5 ; 0). z2 = 2 × 0,5 + 1 × 0 - 0,5 = 0,5. y = σ(0,5) = 1/(1 + e-0,5) ≈ 0,622.

b) 0,622 > 0,5 : classe 1.

c) Couche cachée : 2 × 2 + 2 = 6 ; sortie : 2 + 1 = 3 ; total 9 paramètres.

d) La régression logistique est un seul neurone sigmoïde : sa frontière w^top x + b = 0 est une droite. Ici, chaque neurone ReLU découpe le plan selon une droite et la sortie combine ces morceaux : la frontière de décision est une ligne brisée (affine par morceaux), qui peut par exemple séparer les classes du XOR.

Cherchez d’abord seul, sur votre cahier, puis ouvrez le corrigé pour comparer.

6Je vérifie

Choisissez une réponse pour chaque question : la correction s’affiche aussitôt.

1Que calcule un neurone artificiel avant l'activation ?
Voir la réponse

Réponse B : la somme pondérée des entrées plus le biais. La pré-activation est z = wᵀx + b.

2Le perceptron converge en un nombre fini d'étapes lorsque :
Voir la réponse

Réponse B : les données sont linéairement séparables. C'est le théorème de convergence du perceptron.

3Pourquoi un perceptron seul ne peut-il pas apprendre le XOR ?
Voir la réponse

Réponse C : parce qu'aucune droite ne sépare les deux classes. Les points de classe 1 et de classe 0 sont sur deux diagonales qui se croisent.

4Quelle activation choisit-on par défaut dans les couches cachées d'un réseau dense moderne ?
Voir la réponse

Réponse B : ReLU. ReLU est simple, rapide et limite l'écrasement des gradients.

5Une couche dense de 100 entrées vers 20 neurones compte :
Voir la réponse

Réponse C : 2 020 paramètres. 100 × 20 poids + 20 biais = 2 020.

6En sortie d'une classification à 5 classes, on utilise :
Voir la réponse

Réponse B : une softmax sur 5 neurones. La softmax donne 5 probabilités positives de somme 1.

7Le théorème d'approximation universelle affirme :
Voir la réponse

Réponse A : qu'un réseau à une couche cachée assez large peut approcher toute fonction continue sur un domaine borné. Il garantit l'existence d'une approximation, pas la façon de la trouver.

Karamö, votre enseignant

Il a lu cette leçon. Posez-lui votre question : il vous répond ici.

Connectez-vous pour poser vos questions à Karamö.

Vous avez fini la leçon ?

Avec un compte Kharandi gratuit, vous cochez les leçons terminées et vous suivez votre progression, cours par cours.

Karamö
Un point pas clair ? Dites à Karamö ce qui vous bloque dans cette leçon : il vous l’explique autrement, pas à pas, sans faire le travail à votre place. Demander à Karamö
Signaler une erreur dans cette leçon

Toutes les leçons de Apprentissage profond

Pose ta question à Karamö