Aller au contenu
Régression et modèles linéaires · L3

Leçon 1 sur 5

Régression linéaire simple et moindres carrés

Je sais écrire un modèle de régression linéaire simple, estimer sa droite par les moindres carrés, mesurer la qualité de l'ajustement par le R² et interpréter la pente dans les unités du problème.

  • 1 h 20
  • 6 exercices corrigés
  • QCM de 7 questions

À la fin de la leçon, vous saurez :

  • Écrire le modèle de régression linéaire simple et ses hypothèses
  • Établir et appliquer les formules des moindres carrés ordinaires
  • Décomposer la variabilité totale et calculer le coefficient de détermination R²
  • Estimer la variance des erreurs et interpréter les coefficients
  • Programmer l'ajustement en Python avec NumPy

Avant de commencer : Statistique descriptive (moyenne, variance, covariance, corrélation) et algèbre linéaire de base (L1-L2).

1Je découvre

Mariama est analyste chez Kobi Data, une jeune entreprise de science des données installée à Conakry. Une union de coopératives rizicoles de la région de Kankan lui confie une question simple en apparence : « Si nos membres mettent un sac d'engrais de plus par hectare, combien de riz gagnent-ils ? »

L'union a noté, sur six parcelles de démonstration, la dose d'engrais apportée et le rendement obtenu à la récolte. Les chiffres montent ensemble, mais pas parfaitement : la pluie, le sol, la date de repiquage brouillent la relation. Le trésorier veut un chiffre unique pour décider combien d'engrais commander ; l'agronome veut savoir à quel point ce chiffre est fiable.

Mariama doit donc tracer « la » droite qui résume au mieux le nuage de points, puis dire quelle part des différences de rendement elle explique.

Comment choisir, parmi toutes les droites possibles, celle qui ajuste le mieux un nuage de points, et comment mesurer la qualité de cet ajustement ?

2Je comprends

1. Le modèle de régression linéaire simple

On dispose de n observations (xi, yi). La variable y est la variable expliquée (ou réponse, variable dépendante) ; x est la variable explicative (ou régresseur, prédicteur). Le modèle s'écrit :

yi = β0 + β1 xi + εi, i = 1, …, n

  • β0 est l'ordonnée à l'origine et β1 la pente : ce sont des paramètres inconnus, fixes, à estimer ;
  • εi est l'erreur (ou perturbation) : tout ce qui influence yi sans passer par xi.

Les hypothèses classiques du modèle :

HypothèseÉnoncéRôle
H1 Linéaritél'espérance de y sachant x vaut β0 + β1 xla droite est le bon modèle
H2 Erreurs centréesE(εi) = 0pas de biais systématique
H3 HomoscédasticitéV(εi) = σ2 pour tout imême dispersion partout
H4 Non-corrélationCov(εi, εj) = 0 si i ≠ jobservations indépendantes
H5 Normalité (pour les tests)εi ∼ N(0, σ2)lois exactes des estimateurs (leçon 3)

On suppose aussi que les xi ne sont pas tous égaux (sinon aucune pente n'est identifiable). Le mot « linéaire » signifie linéaire en les paramètres : y = β0 + β1 ln x + ε est encore un modèle linéaire.

2. Le critère des moindres carrés ordinaires

Pour une droite candidate b0 + b1 x, l'écart vertical entre le point i et la droite est yi - b0 - b1 xi. La méthode des moindres carrés ordinaires (MCO) choisit b0 et b1 qui minimisent la somme des carrés de ces écarts :

S(b0, b1) = Σi=1n (yi - b0 - b1 xi)2

On annule les deux dérivées partielles (les équations normales) :

∂ S∂ b0 = -2 Σ (yi - b0 - b1 xi) = 0 ∂ S∂ b1 = -2 Σ xi (yi - b0 - b1 xi) = 0

En notant x, y les moyennes et

Sxx = Σ (xi - x)2, Sxy = Σ (xi - x)(yi - y), Syy = Σ (yi - y)2,

la solution unique (car S est convexe et Sxx > 0) est :

β1 = SxySxx, β0 = y - β1 x

Formes de calcul utiles : Sxx = Σ xi2 - nx2 et Sxy = Σ xi yi - nxy.

Conséquences directes des équations normales :

  • la droite passe par le point moyen (x, y) ;
  • les résidus ei = yi - yi ont une somme nulle : Σ ei = 0 ;
  • ils sont orthogonaux aux xi : Σ xi ei = 0.

3. Exemple résolu : la droite de l'engrais

Exemple

Données (x = sacs d'engrais de 50 kg par hectare, y = rendement en tonnes par hectare) :

x : 1 2 3 4 5 6

y : 1,7 2,0 2,6 3,0 3,2 3,7

Étape 1 - Moyennes : x̄ = 21/6 = 3,5 ; ȳ = 16,2/6 = 2,7.

Étape 2 - Sommes : Σx² = 91 ; Σxy = 63,7.

Sxx = 91 - 6 × 3,5² = 17,5

Sxy = 63,7 - 6 × 3,5 × 2,7 = 7,0

Étape 3 - Pente : β̂1 = 7,0 / 17,5 = 0,4

Étape 4 - Ordonnée à l'origine : β̂0 = 2,7 - 0,4 × 3,5 = 1,3

Droite estimée : ŷ = 1,3 + 0,4 x

Étape 5 - Valeurs ajustées et résidus :

x : 1 2 3 4 5 6

ŷ : 1,7 2,1 2,5 2,9 3,3 3,7

e : 0 -0,1 0,1 0,1 -0,1 0

Contrôle : Σe = 0 et Σx·e = -0,2 + 0,3 + 0,4 - 0,5 = 0.

Interprétation : chaque sac supplémentaire de 50 kg par hectare est associé, en moyenne, à 0,4 tonne de riz de plus par hectare, dans la plage observée (1 à 6 sacs). L'ordonnée à l'origine 1,3 t/ha serait le rendement prévu sans engrais : c'est une extrapolation (aucune parcelle n'a reçu 0 sac), à prendre avec prudence.

4. Décomposition de la variabilité et coefficient R²

La variabilité totale de y se décompose exactement (grâce à l'orthogonalité des résidus) :

Σ (yi - y)2SCT = Σ (yi - y)2SCE + Σ ei2SCR

SommeNomCe qu'elle mesure
SCTsomme des carrés totaledispersion totale de y
SCEsomme des carrés expliquéepart reproduite par la droite
SCRsomme des carrés résiduellepart non expliquée

Le coefficient de détermination est

R2 = SCESCT = 1 - SCRSCT, 0 ≤ R2 ≤ 1.

En régression simple, SCE = β1 Sxy et R2 = r2, où r = Sxy/√Sxx Syy est le coefficient de corrélation linéaire.

Sur l'exemple : SCT = Syy = 2,84, SCR = 0,04, donc SCE = 2,80 et R2 = 2,80 / 2,84 ≈ 0,986. La droite explique environ 98,6 % de la variabilité des rendements de ces six parcelles.

Attention : un R2 élevé ne prouve ni la causalité ni la validité du modèle (une courbe peut donner un R2 élevé avec une droite mal adaptée) ; un R2 faible n'empêche pas une pente réelle et utile.

5. Propriétés des estimateurs et estimation de σ²

Sous H1 à H4, les estimateurs MCO sont sans biais : E(β1) = β1, E(β0) = β0, et

V(β1) = σ2Sxx, V(β0) = σ2 ( 1n + x2Sxx ).

Le théorème de Gauss-Markov affirme que, parmi tous les estimateurs linéaires sans biais, les MCO ont la plus petite variance : ils sont « BLUE » (best linear unbiased estimators). La normalité n'est pas nécessaire pour ce résultat.

La variance des erreurs σ2 est estimée sans biais par

s2 = SCRn - 2,

car deux paramètres ont été estimés (deux degrés de liberté « consommés »). Sur l'exemple : s2 = 0,04/4 = 0,01, s = 0,1 t/ha, et l'écart-type estimé de la pente vaut s/√Sxx = 0,1/√17,5 ≈ 0,024.

Remarque : une pente plus précise s'obtient avec plus d'observations et des xi plus dispersés (Sxx grand). C'est une leçon de plan d'expérience pour l'union : tester des doses variées.

6. Mise en œuvre en Python

import numpy as np

x = np.array([1, 2, 3, 4, 5, 6], dtype=float)
y = np.array([1.7, 2.0, 2.6, 3.0, 3.2, 3.7])

sxx = np.sum((x - x.mean())**2)
sxy = np.sum((x - x.mean()) * (y - y.mean()))
b1 = sxy / sxx
b0 = y.mean() - b1 * x.mean()

residus = y - (b0 + b1 * x)
r2 = 1 - np.sum(residus**2) / np.sum((y - y.mean())**2)
print(round(b0, 3), round(b1, 3), round(r2, 3))   # 1.3 0.4 0.986

Méthode

  1. Tracer le nuage de points : la relation est-elle à peu près linéaire ? y a-t-il des points aberrants ?
  2. Calculer x̄, ȳ, Sxx, Sxy (et Syy).
  3. Calculer β̂1 = Sxy / Sxx puis β̂0 = ȳ - β̂1 x̄.
  4. Calculer les résidus et vérifier Σe = 0.
  5. Calculer SCR, R² = 1 - SCR/SCT et s² = SCR/(n - 2).
  6. Interpréter la pente avec ses unités, dans la plage des x observés seulement.

3Je retiens

Je retiens

Modèle : y = β0 + β1 x + ε, avec erreurs centrées, de variance constante σ², non corrélées.

MCO : on minimise la somme des carrés des écarts verticaux.

β̂1 = Sxy / Sxx et β̂0 = ȳ - β̂1 x̄ ; la droite passe par (x̄, ȳ).

Les résidus ont une somme nulle et sont orthogonaux aux x.

SCT = SCE + SCR ; R² = SCE/SCT = 1 - SCR/SCT ; en simple, R² = r².

σ² est estimé par s² = SCR/(n - 2).

Gauss-Markov : les MCO sont les meilleurs estimateurs linéaires sans biais.

La pente s'interprète en unités de y par unité de x, dans la plage observée.

4Erreurs fréquentes

  • Minimiser les écarts horizontaux ou les écarts en valeur absolue : les MCO portent sur les carrés des écarts verticaux.
  • Diviser SCR par n au lieu de n - 2 pour estimer σ².
  • Interpréter la pente comme une preuve de causalité : la régression mesure une association.
  • Extrapoler loin des données (prévoir le rendement avec 20 sacs à l'hectare).
  • Juger un modèle uniquement sur son R² sans regarder le nuage de points ni les résidus.
  • Oublier les unités : changer l'unité de x change la valeur de la pente.

5Je m’exerce

1Exercice 1

(Questions de cours) a) Que signifie « linéaire » dans « modèle linéaire » ? Le modèle y = β0 + β1 x2 + ε est-il linéaire ? b) Pourquoi divise-t-on SCR par n - 2 ? c) Que dit le théorème de Gauss-Markov ?

Voir le corrigéCacher le corrigé

a) Linéaire en les paramètres β0, β1 : y est une combinaison linéaire des paramètres. Oui, y = β0 + β1 x2 + ε est linéaire : il suffit de poser z = x2. b) On a estimé deux paramètres ; les résidus vérifient deux contraintes (Σ ei = 0, Σ xi ei = 0) et n'ont plus que n - 2 degrés de liberté. Avec ce diviseur, s2 est sans biais pour σ2. c) Sous les hypothèses H1 à H4, les estimateurs MCO sont, parmi les estimateurs linéaires sans biais, ceux de variance minimale (BLUE).

2Exercice 2

Sur n = 10 observations, on a obtenu : x = 4, y = 20, Sxx = 40, Sxy = 100, Syy = 300. Calculez β1, β0, SCE, SCR, R2 et s2.

Voir le corrigéCacher le corrigé

β1 = 100/40 = 2,5 ; β0 = 20 - 2,5 × 4 = 10. SCE = β1 Sxy = 2,5 × 100 = 250 ; SCT = 300 ; SCR = 300 - 250 = 50. R2 = 250/300 ≈ 0,833. s2 = 50/(10 - 2) = 6,25.

3Exercice 3

Une boutique de Kindia relève le nombre de messages publicitaires diffusés à la radio rurale par semaine (x) et ses ventes hebdomadaires en millions de GNF (y) : x = 2, 4, 6, 8 et y = 3, 7, 8, 12. Estimez la droite des MCO, calculez les résidus, SCR et R2.

Voir le corrigéCacher le corrigé

x = 5, y = 30/4 = 7,5. Écarts xi - x : -3, -1, 1, 3 ; écarts yi - y : -4,5 ; -0,5 ; 0,5 ; 4,5.

Sxx = 9 + 1 + 1 + 9 = 20 ; Sxy = 13,5 + 0,5 + 0,5 + 13,5 = 28 ; Syy = 20,25 + 0,25 + 0,25 + 20,25 = 41.

β1 = 28/20 = 1,4 ; β0 = 7,5 - 1,4 × 5 = 0,5. Droite : y = 0,5 + 1,4x.

Valeurs ajustées : 3,3 ; 6,1 ; 8,9 ; 11,7. Résidus : -0,3 ; 0,9 ; -0,9 ; 0,3 (somme nulle).

SCR = 0,09 + 0,81 + 0,81 + 0,09 = 1,8 ; R2 = 1 - 1,8/41 ≈ 0,956. Chaque message supplémentaire est associé à 1,4 million de GNF de ventes en plus par semaine.

4Exercice 4

À partir des deux équations normales, démontrez que Σ ei = 0 et Σ xi ei = 0, puis que la droite passe par (x, y).

Voir le corrigéCacher le corrigé

La première équation normale s'écrit Σ (yi - β0 - β1 xi) = 0, c'est-à-dire Σ ei = 0. La seconde s'écrit Σ xi (yi - β0 - β1 xi) = 0, c'est-à-dire Σ xi ei = 0. En divisant la première par n : y - β0 - β1 x = 0, donc y = β0 + β1 x : le point moyen est sur la droite.

5Exercice 5

Dans l'exemple de l'engrais, la pente vaut 0,4 t/ha par sac de 50 kg. a) Exprimez-la en kilogrammes de riz par kilogramme d'engrais. b) Le trésorier propose d'utiliser la droite pour prévoir le rendement avec 15 sacs par hectare. Que lui répondez-vous ?

Voir le corrigéCacher le corrigé

a) 0,4 t = 400 kg de riz pour 50 kg d'engrais, soit 400/50 = 8 kg de riz par kg d'engrais (par hectare). b) 15 sacs est très loin de la plage observée (1 à 6 sacs) : rien ne garantit que la relation reste linéaire (rendements décroissants, plafond agronomique, risque de brûlure des plants). La droite donnerait 1,3 + 0,4 × 15 = 7,3 t/ha, valeur qui n'est appuyée par aucune donnée. Il faut refuser cette extrapolation et, si la question compte, tester des doses plus élevées sur des parcelles d'essai.

6Exercice 6

(Type examen) Pour 12 boutiques de Labé, on relève la surface de vente x (en m²) et le chiffre d'affaires mensuel y (en millions de GNF). On donne : Σ xi = 600, Σ yi = 300, Σ xi2 = 33 000, Σ xi yi = 16 200, Σ yi2 = 8 100.

a) Calculez x, y, Sxx, Sxy, Syy.

b) Estimez la droite des moindres carrés et interprétez la pente.

c) Calculez R2 et le coefficient de corrélation r.

d) Estimez σ2.

e) Prévoyez le chiffre d'affaires d'une boutique de 60 m². Cette prévision est-elle raisonnable ?

Voir le corrigéCacher le corrigé

a) x = 600/12 = 50 ; y = 300/12 = 25.

Sxx = 33 000 - 12 × 502 = 3 000 ; Sxy = 16 200 - 12 × 50 × 25 = 1 200 ; Syy = 8 100 - 12 × 252 = 600.

b) β1 = 1 200/3 000 = 0,4 ; β0 = 25 - 0,4 × 50 = 5. Droite : y = 5 + 0,4x. Chaque m² supplémentaire est associé, en moyenne, à 0,4 million de GNF (400 000 GNF) de chiffre d'affaires mensuel en plus.

c) SCE = 0,4 × 1 200 = 480 ; R2 = 480/600 = 0,8 ; r = +√0,8 ≈ 0,894 (positif, comme la pente).

d) SCR = 600 - 480 = 120 ; s2 = 120/(12 - 2) = 12, soit s ≈ 3,46 millions de GNF.

e) y = 5 + 0,4 × 60 = 29 millions de GNF. 60 m² est proche de la moyenne (50 m²) : c'est une interpolation raisonnable, mais il faut l'accompagner d'une marge d'erreur (leçon 3), car s ≈ 3,5 millions.

Cherchez d’abord seul, sur votre cahier, puis ouvrez le corrigé pour comparer.

6Je vérifie

Choisissez une réponse pour chaque question : la correction s’affiche aussitôt.

1La droite des moindres carrés passe toujours par :
Voir la réponse

Réponse B : le point moyen (x, y). C'est une conséquence de la première équation normale.

2La pente estimée vaut :
Voir la réponse

Réponse B : Sxy/Sxx. β1 = Sxy/Sxx.

3Si SCT = 50 et SCR = 10, le R2 vaut :
Voir la réponse

Réponse B : 0,8. R2 = 1 - 10/50 = 0,8.

4En régression simple sur n observations, l'estimateur sans biais de σ2 est :
Voir la réponse

Réponse C : SCR/(n-2). Deux paramètres estimés : n - 2 degrés de liberté.

5Lequel de ces modèles n'est PAS linéaire au sens de la régression ?
Voir la réponse

Réponse C : y = β0 eβ1 x + ε. Le dernier n'est pas linéaire en β1 (avec une erreur additive, on ne peut pas le linéariser exactement).

6Le théorème de Gauss-Markov exige :
Voir la réponse

Réponse B : des erreurs centrées, homoscédastiques et non corrélées. La normalité ne sert que pour les lois exactes des tests (leçon 3).

7Un R2 de 0,95 permet de conclure :
Voir la réponse

Réponse B : que la droite reproduit 95 % de la variabilité de y dans l'échantillon. Le R2 mesure l'ajustement, pas la causalité ni la validité des hypothèses.

Karamö, votre enseignant

Il a lu cette leçon. Posez-lui votre question : il vous répond ici.

Connectez-vous pour poser vos questions à Karamö.

Vous avez fini la leçon ?

Avec un compte Kharandi gratuit, vous cochez les leçons terminées et vous suivez votre progression, cours par cours.

Karamö
Un point pas clair ? Dites à Karamö ce qui vous bloque dans cette leçon : il vous l’explique autrement, pas à pas, sans faire le travail à votre place. Demander à Karamö
Signaler une erreur dans cette leçon

Toutes les leçons de Régression et modèles linéaires

Pose ta question à Karamö