Aller au contenu
Régression et modèles linéaires · L3

Leçon 1 sur 5

Régression simple et moindres carrés

Je sais ajuster une droite de régression par les moindres carrés, mesurer la qualité de l'ajustement, tester la pente et construire des intervalles de confiance et de prévision.

  • 1 h 30
  • 6 exercices corrigés
  • QCM de 7 questions

À la fin de la leçon, vous saurez :

  • Écrire le modèle de régression linéaire simple et ses hypothèses
  • Calculer les estimateurs des moindres carrés de la pente et de l'ordonnée à l'origine
  • Décomposer la variabilité et interpréter le coefficient de détermination
  • Estimer la variance des erreurs et tester la nullité de la pente
  • Construire un intervalle de confiance de la moyenne et un intervalle de prévision

Avant de commencer : Statistique inférentielle (estimation, intervalles de confiance, tests) ; calcul matriciel de base.

1Je découvre

Une coopérative rizicole de la plaine de Faranah, au bord du Niger, a recruté Mariama, jeune diplômée en mathématiques appliquées, pour l'aider à planifier la prochaine campagne. Le président de la coopérative lui pose une question simple : « Si nous achetons un sac d'engrais de plus par hectare, combien de riz gagnons-nous ? »

Mariama dispose des relevés de la dernière campagne sur huit parcelles de bas-fond comparables (données d'exemple) : la dose d'engrais NPK apportée, en sacs de 50 kg par hectare, et le rendement en paddy, en tonnes par hectare.

ParcelleP1P2P3P4P5P6P7P8
Engrais x (sacs/ha)01123345
Rendement y (t/ha)1,92,62,02,83,63,03,84,3

Le nuage de points monte nettement, mais les points ne sont pas parfaitement alignés : deux parcelles qui ont reçu la même dose (P5 et P6) n'ont pas le même rendement. Il faut donc un modèle qui sépare la tendance du bruit, et qui dise aussi avec quelle précision on connaît cette tendance.

Comment résumer la relation entre deux variables quantitatives par une droite, et quelle confiance accorder à cette droite ?

2Je comprends

1. Le modèle de régression linéaire simple

On observe n couples (xi, yi). La variable y est la variable expliquée (ou réponse) ; x est la variable explicative (ou régresseur), considérée comme fixée (non aléatoire). Le modèle s'écrit :

yi = β0 + β1 xi + εi, i = 1, …, n

  • β0 (ordonnée à l'origine) et β1 (pente) sont des paramètres inconnus ;
  • εi est l'erreur : tout ce que x n'explique pas (sol, eau, date de repiquage, mesure…).

Les hypothèses de base, notées H1 à H4, portent sur les erreurs :

HypothèseÉnoncéCe qu'elle signifie
H1 CentrageE(εi) = 0le modèle n'oublie pas de tendance systématique
H2 HomoscédasticitéV(εi) = σ2 pour tout ila dispersion est la même quelle que soit la dose
H3 Non-corrélationCov(εi, εj) = 0 si i ≠ jles parcelles ne s'influencent pas
H4 Normalitéεi ∼ N(0, σ2)nécessaire pour les tests et intervalles exacts

Sous H1, E(yi) = β0 + β1 xi : la droite de régression est la droite des moyennes de y sachant x. La pente β1 s'interprète comme la variation moyenne de y quand x augmente d'une unité.

2. L'estimation par les moindres carrés ordinaires

Pour des valeurs b0, b1 données, l'écart vertical entre le point i et la droite est yi - b0 - b1 xi. La méthode des moindres carrés ordinaires (MCO) choisit b0, b1 qui minimisent :

S(b0, b1) = Σi=1n (yi - b0 - b1 xi)2

En annulant les deux dérivées partielles, on obtient les équations normales :

Σ (yi - b0 - b1 xi) = 0 et Σ xi (yi - b0 - b1 xi) = 0

dont la solution est, avec les notations Sxx = Σ (xi - x)2 et Sxy = Σ (xi - x)(yi - y) :

β1 = SxySxx, β0 = y - β1 x

Formules de calcul pratiques : Sxx = Σ xi2 - nx2 et Sxy = Σ xi yi - n xy.

Conséquences directes des équations normales :

  • la droite passe par le point moyen (x, y) ;
  • les résidus ei = yi - yi ont une somme nulle : Σ ei = 0 ;
  • les résidus sont orthogonaux à x : Σ xi ei = 0.

Sous H1 à H3, β0 et β1 sont sans biais, et V(β1) = σ2 / Sxx : plus les doses sont étalées, plus la pente est précise.

Exemple

Données de la coopérative de Faranah, n = 8.

Étape 1. Sommes : Σx = 19 ; Σy = 24,0 ; Σx² = 65 ; Σxy = 66,7 ; Σy² = 77,1.

Moyennes : x̄ = 19/8 = 2,375 ; ȳ = 24,0/8 = 3,0.

Étape 2. Sxx = 65 − 8 × 2,375² = 65 − 45,125 = 19,875.

Sxy = 66,7 − 8 × 2,375 × 3,0 = 66,7 − 57 = 9,7.

Syy = 77,1 − 8 × 3,0² = 77,1 − 72 = 5,1.

Étape 3. Pente : b1 = 9,7 / 19,875 ≈ 0,488 t/ha par sac.

Ordonnée à l'origine : b0 = 3,0 − 0,488 × 2,375 ≈ 1,841 t/ha.

Étape 4. Droite estimée : ŷ = 1,841 + 0,488 x.

Interprétation : chaque sac supplémentaire par hectare est associé, en moyenne,

à environ 0,49 t/ha de paddy en plus ; sans engrais, on attend environ 1,84 t/ha.

3. Décomposition de la variance et coefficient de détermination

La variabilité totale de y se décompose exactement (grâce aux équations normales) :

Σ (yi - y)2SCT = Σ (yi - y)2SCE + Σ (yi - yi)2SCR

  • SCT : somme des carrés totale (= Syy) ;
  • SCE : somme des carrés expliquée par la droite (= β1 Sxy) ;
  • SCR : somme des carrés résiduelle.

Le coefficient de détermination est la part de variabilité expliquée :

R2 = SCESCT = 1 - SCRSCT, 0 ≤ R2 ≤ 1

En régression simple, R2 = r2, où r = Sxy / √Sxx Syy est le coefficient de corrélation linéaire.

Parcellexiyiyiei
P101,91,8410,059
P212,62,3290,271
P312,02,329−0,329
P422,82,817−0,017
P533,63,3050,295
P633,03,305−0,305
P743,83,7930,007
P854,34,2810,019

On vérifie que la somme des résidus vaut 0 (aux arrondis près). Ici SCE = 0,488 × 9,7 ≈ 4,734, SCR = 5,1 - 4,734 ≈ 0,366 et R2 ≈ 4,734 / 5,1 ≈ 0,928 : la dose d'engrais explique environ 93 % de la variabilité des rendements de ces huit parcelles.

Attention : un R2 élevé ne prouve ni la causalité, ni la validité du modèle. Il se calcule sur l'échantillon et ne dit rien des doses non observées.

4. Variance des erreurs et test de la pente

La variance σ2 est estimée sans biais par la variance résiduelle :

s2 = σ2 = SCRn - 2

On divise par n - 2 car deux paramètres ont été estimés (deux contraintes sur les résidus). On en déduit les erreurs-types :

se(β1) = s√Sxx, se(β0) = s √1n + x2Sxx

Sous H1 à H4, β1 - β1se(β1) suit une loi de Student à n - 2 degrés de liberté. D'où :

  • le test de Student de H0 : β1 = 0 (pas de lien linéaire) contre H1 : β1 ≠ 0, avec la statistique T = β1 / se(β1) ; on rejette H0 au niveau α si |T| > t1-α/2; n-2 ;
  • l'intervalle de confiance de niveau 1 - α : β1 ± t1-α/2; n-2 se(β1).

Le test équivalent par l'analyse de la variance utilise F = SCE / 1SCR / (n-2), qui suit une loi de Fisher F(1, n-2) sous H0 ; en régression simple, F = T2.

Exemple

Suite de l'exemple de Faranah (n − 2 = 6 degrés de liberté).

Étape 1. s² = 0,366 / 6 ≈ 0,0610 ; s ≈ 0,247 t/ha.

Étape 2. se(b1) = 0,247 / √19,875 ≈ 0,247 / 4,458 ≈ 0,0554.

Étape 3. T = 0,488 / 0,0554 ≈ 8,81. Quantile : t(0,975 ; 6) = 2,447.

|T| = 8,81 > 2,447 : on rejette H0 au niveau 5 %. La dose d'engrais a un effet

linéaire significatif sur le rendement (p-valeur ≈ 0,0001).

Étape 4. IC à 95 % de la pente : 0,488 ± 2,447 × 0,0554 = [0,353 ; 0,624] t/ha par sac.

Étape 5. Contrôle : F = 4,734 / 0,0610 ≈ 77,6 ≈ 8,81² ; cohérent.

5. Estimer la moyenne et prévoir une nouvelle observation

Pour une dose x0, la valeur ajustée y0 = β0 + β1 x0 sert à deux questions différentes :

QuestionIntervalle (niveau 1-α, quantile t = t1-α/2; n-2)
Rendement moyen de toutes les parcelles recevant x0y0 ± t s √1n + (x0 - x)2Sxx
Rendement d'une nouvelle parcelle recevant x0y0 ± t s √1 + 1n + (x0 - x)2Sxx

L'intervalle de prévision est toujours plus large : il ajoute à l'incertitude sur la droite la variabilité propre de la nouvelle parcelle (le « 1 » sous la racine). Les deux intervalles s'élargissent quand x0 s'éloigne de x.

Exemple

Prévision pour x0 = 2,5 sacs/ha.

Étape 1. ŷ0 = 1,841 + 0,488 × 2,5 ≈ 3,061 t/ha.

Étape 2. (x0 − x̄)²/Sxx = 0,125²/19,875 ≈ 0,0008.

Étape 3. Moyenne : 0,247 × √(0,125 + 0,0008) ≈ 0,0876 ; IC = 3,061 ± 2,447 × 0,0876 = [2,85 ; 3,28].

Étape 4. Prévision : 0,247 × √(1,1258) ≈ 0,262 ; IP = 3,061 ± 2,447 × 0,262 = [2,42 ; 3,70].

Lecture : la coopérative peut annoncer un rendement moyen entre 2,85 et 3,28 t/ha,

mais une parcelle donnée pourra se situer entre 2,42 et 3,70 t/ha.

Ne jamais extrapoler loin des données : rien ne dit que l'effet reste linéaire à 10 sacs/ha (saturation, verse du riz, coût).

6. La démarche complète

Méthode

  1. Tracer le nuage de points ; vérifier que la forme est à peu près linéaire.
  2. Calculer x̄, ȳ, Sxx, Sxy, Syy.
  3. Estimer b1 = Sxy/Sxx puis b0 = ȳ − b1 x̄ ; interpréter la pente avec ses unités.
  4. Calculer SCE = b1 Sxy, SCR = Syy − SCE, R² = SCE/Syy.
  5. Estimer s² = SCR/(n − 2), puis se(b1) = s/√Sxx.
  6. Tester H0 : β1 = 0 avec T = b1/se(b1) et la loi de Student à n − 2 ddl.
  7. Donner les intervalles demandés (pente, moyenne, prévision) et rester dans la plage des x observés.
  8. Contrôler les résidus (leçon 3) avant de conclure.

Les mêmes calculs se font en quelques lignes :

import numpy as np
x = np.array([0, 1, 1, 2, 3, 3, 4, 5])
y = np.array([1.9, 2.6, 2.0, 2.8, 3.6, 3.0, 3.8, 4.3])
b1, b0 = np.polyfit(x, y, 1)   # pente puis ordonnée à l'origine
print(round(b0, 3), round(b1, 3))   # 1.841 0.488

3Je retiens

Je retiens

Modèle : y = β0 + β1 x + ε, erreurs centrées, de même variance σ², non corrélées (normales pour les tests).

MCO : b1 = Sxy/Sxx et b0 = ȳ − b1 x̄ ; la droite passe par (x̄, ȳ).

Les résidus ont une somme nulle et sont orthogonaux à x.

SCT = SCE + SCR et R² = SCE/SCT ; en régression simple R² = r².

s² = SCR/(n − 2) estime σ² ; se(b1) = s/√Sxx.

Test de la pente : T = b1/se(b1) suit Student à n − 2 ddl sous H0 ; F = T².

L'intervalle de prévision (une observation) est plus large que l'intervalle de confiance de la moyenne.

4Erreurs fréquentes

  • Diviser SCR par n ou par n − 1 au lieu de n − 2 pour estimer σ².
  • Confondre intervalle de confiance de la moyenne et intervalle de prévision d'une nouvelle valeur.
  • Conclure à une causalité parce que R² est proche de 1.
  • Extrapoler la droite bien au-delà des valeurs de x observées.
  • Interpréter la pente sans unités ou inverser les rôles de x et de y (la régression de x sur y donne une autre droite).

5Je m’exerce

1Exercice 1

(Questions de cours)

a) Énoncez les hypothèses H1 à H4 du modèle linéaire simple.

b) Pourquoi divise-t-on SCR par n − 2 ?

c) Démontrez que la droite des MCO passe par le point moyen.

Voir le corrigéCacher le corrigé

a) H1 : E(εi) = 0 ; H2 : V(εi) = σ2 constante ; H3 : erreurs non corrélées deux à deux ; H4 : erreurs normales N(0, σ2) (indépendantes).

b) Les résidus vérifient deux contraintes linéaires (Σ ei = 0 et Σ xi ei = 0) : il ne reste que n - 2 degrés de liberté. Avec ce dénominateur, E(SCR / (n-2)) = σ2 : l'estimateur est sans biais.

c) La première équation normale donne Σ yi = n b0 + b1 Σ xi, soit y = b0 + b1 x : le point (x, y) est sur la droite.

2Exercice 2

Une étude sur cinq exploitations maraîchères de Kindia relie la surface cultivée x (ha) à la production de tomates y (t) :

x12345
y2,54,06,57,09,0

a) Calculez x, y, Sxx, Sxy, Syy.

b) Déterminez la droite des moindres carrés.

c) Calculez les résidus, vérifiez que leur somme est nulle, puis calculez R2.

d) Estimez la production d'une exploitation de 3,5 ha.

Voir le corrigéCacher le corrigé

a) x = 3 ; y = 29/5 = 5,8 ; Sxx = 10 ; Sxy = (-2)(-3,3) + (-1)(-1,8) + 0 + 1 × 1,2 + 2 × 3,2 = 6,6 + 1,8 + 1,2 + 6,4 = 16 ; Syy = 10,89 + 3,24 + 0,49 + 1,44 + 10,24 = 26,3.

b) b1 = 16/10 = 1,6 t/ha ; b0 = 5,8 - 1,6 × 3 = 1,0. Droite : y = 1,0 + 1,6 x.

c) Valeurs ajustées : 2,6 ; 4,2 ; 5,8 ; 7,4 ; 9,0. Résidus : −0,1 ; −0,2 ; 0,7 ; −0,4 ; 0. Somme : 0. SCR = 0,01 + 0,04 + 0,49 + 0,16 + 0 = 0,70 ; R2 = 1 - 0,70/26,3 ≈ 0,973.

d) y = 1,0 + 1,6 × 3,5 = 6,6 t.

3Exercice 3

Sur n = 20 observations, un logiciel donne β1 = 0,84 et se(β1) = 0,35. On donne t0,975; 18 = 2,101.

a) Testez H0 : β1 = 0 au niveau 5 %.

b) Construisez l'intervalle de confiance à 95 % de β1.

Voir le corrigéCacher le corrigé

a) T = 0,84 / 0,35 = 2,40 > 2,101 : on rejette H0 au niveau 5 %, la pente est significativement non nulle.

b) 0,84 ± 2,101 × 0,35 = 0,84 ± 0,735, soit [0,105 ; 1,575]. L'intervalle ne contient pas 0, ce qui est cohérent avec a).

4Exercice 4

Montrez que SCE = β1 Sxy et en déduire que R2 = r2 en régression simple.

Voir le corrigéCacher le corrigé

yi - y = β1 (xi - x) car la droite passe par le point moyen. Donc SCE = β12 Sxx = β1 · SxySxx · Sxx = β1 Sxy.

Alors R2 = SCESyy = Sxy2Sxx Syy = r2.

5Exercice 5

Pour les données de Faranah, la coopérative envisage 8 sacs/ha. Calculez la valeur prévue par la droite et expliquez pourquoi Mariama doit refuser de présenter ce chiffre comme fiable.

Voir le corrigéCacher le corrigé

y = 1,841 + 0,488 × 8 ≈ 5,75 t/ha. Ce chiffre est une extrapolation : les doses observées vont de 0 à 5 sacs/ha. Rien ne garantit que la réponse reste linéaire (effet de saturation agronomique, risque de verse, coût de l'engrais). De plus, l'intervalle de prévision s'élargit fortement : (8 - 2,375)2 / 19,875 ≈ 1,59 s'ajoute sous la racine. Il faut un essai avec des doses plus élevées avant de conclure.

6Exercice 6

(Type examen) Une société de transport de bauxite de la région de Boké étudie, sur n = 12 rotations, la consommation de gazole y (litres) en fonction de la distance parcourue x (km). On donne : x = 20, y = 50, Sxx = 250, Sxy = 400, Syy = 700, et t0,975; 10 = 2,228.

a) Estimez la droite de régression et interprétez la pente.

b) Calculez SCE, SCR et R2.

c) Estimez σ2, puis testez la nullité de la pente au niveau 5 %.

d) Donnez l'intervalle de confiance à 95 % de la pente.

e) Donnez l'intervalle de prévision à 95 % de la consommation d'une rotation de 25 km.

Voir le corrigéCacher le corrigé

a) b1 = 400/250 = 1,6 L/km ; b0 = 50 - 1,6 × 20 = 18 L. Droite : y = 18 + 1,6 x. Chaque kilomètre supplémentaire coûte en moyenne 1,6 litre de gazole ; les 18 litres correspondent à une consommation fixe (chargement, attente, manœuvres), à interpréter avec prudence car x = 0 n'est sans doute pas observé.

b) SCE = 1,6 × 400 = 640 ; SCR = 700 - 640 = 60 ; R2 = 640/700 ≈ 0,914.

c) s2 = 60/10 = 6 ; s ≈ 2,449 L. se(b1) = √6/250 ≈ 0,155. T = 1,6/0,155 ≈ 10,33 > 2,228 : la pente est significative.

d) 1,6 ± 2,228 × 0,155 = [1,255 ; 1,945] L/km.

e) y0 = 18 + 1,6 × 25 = 58 L. Erreur de prévision : s√1 + 1/12 + 25/250 = 2,449 × √1,1833 ≈ 2,665. IP : 58 ± 2,228 × 2,665 = [52,1 ; 63,9] L.

Cherchez d’abord seul, sur votre cahier, puis ouvrez le corrigé pour comparer.

6Je vérifie

Choisissez une réponse pour chaque question : la correction s’affiche aussitôt.

1La pente des moindres carrés vaut :
Voir la réponse

Réponse B : Sxy / Sxx. β1 = Sxy/Sxx ; la droite passe ensuite par le point moyen.

2En régression simple, l'estimateur sans biais de σ2 est :
Voir la réponse

Réponse C : SCR/(n-2). Deux paramètres estimés, donc n - 2 degrés de liberté.

3Si R2 = 0,81, le coefficient de corrélation r peut valoir :
Voir la réponse

Réponse B : 0,9 ou −0,9 selon le signe de la pente. R2 = r2 ; le signe de r est celui de la pente.

4La somme des résidus d'une régression avec constante est :
Voir la réponse

Réponse A : toujours nulle. C'est la première équation normale.

5L'intervalle de prévision d'une nouvelle observation est plus large que l'intervalle de confiance de la moyenne car :
Voir la réponse

Réponse B : il ajoute la variance propre de la nouvelle observation. Le terme « 1 + » sous la racine représente σ2 de la nouvelle erreur.

6En régression simple, la statistique F du tableau d'analyse de la variance vaut :
Voir la réponse

Réponse B : T2. Le test F global et le test t de la pente sont équivalents : F = T2.

7Les intervalles de confiance et de prévision sont les plus étroits quand :
Voir la réponse

Réponse B : x0 = x. Le terme (x0 - x)2 est alors nul.

Karamö, votre enseignant

Il a lu cette leçon. Posez-lui votre question : il vous répond ici.

Connectez-vous pour poser vos questions à Karamö.

Vous avez fini la leçon ?

Avec un compte Kharandi gratuit, vous cochez les leçons terminées et vous suivez votre progression, cours par cours.

Karamö
Un point pas clair ? Dites à Karamö ce qui vous bloque dans cette leçon : il vous l’explique autrement, pas à pas, sans faire le travail à votre place. Demander à Karamö
Signaler une erreur dans cette leçon

Toutes les leçons de Régression et modèles linéaires

Pose ta question à Karamö