Leçon 1 sur 5
Régression simple et moindres carrés
Je sais ajuster une droite de régression par les moindres carrés, mesurer la qualité de l'ajustement, tester la pente et construire des intervalles de confiance et de prévision.
- 1 h 30
- 6 exercices corrigés
- QCM de 7 questions
À la fin de la leçon, vous saurez :
- Écrire le modèle de régression linéaire simple et ses hypothèses
- Calculer les estimateurs des moindres carrés de la pente et de l'ordonnée à l'origine
- Décomposer la variabilité et interpréter le coefficient de détermination
- Estimer la variance des erreurs et tester la nullité de la pente
- Construire un intervalle de confiance de la moyenne et un intervalle de prévision
Avant de commencer : Statistique inférentielle (estimation, intervalles de confiance, tests) ; calcul matriciel de base.
1Je découvre
Une coopérative rizicole de la plaine de Faranah, au bord du Niger, a recruté Mariama, jeune diplômée en mathématiques appliquées, pour l'aider à planifier la prochaine campagne. Le président de la coopérative lui pose une question simple : « Si nous achetons un sac d'engrais de plus par hectare, combien de riz gagnons-nous ? »
Mariama dispose des relevés de la dernière campagne sur huit parcelles de bas-fond comparables (données d'exemple) : la dose d'engrais NPK apportée, en sacs de 50 kg par hectare, et le rendement en paddy, en tonnes par hectare.
| Parcelle | P1 | P2 | P3 | P4 | P5 | P6 | P7 | P8 |
|---|---|---|---|---|---|---|---|---|
| Engrais x (sacs/ha) | 0 | 1 | 1 | 2 | 3 | 3 | 4 | 5 |
| Rendement y (t/ha) | 1,9 | 2,6 | 2,0 | 2,8 | 3,6 | 3,0 | 3,8 | 4,3 |
Le nuage de points monte nettement, mais les points ne sont pas parfaitement alignés : deux parcelles qui ont reçu la même dose (P5 et P6) n'ont pas le même rendement. Il faut donc un modèle qui sépare la tendance du bruit, et qui dise aussi avec quelle précision on connaît cette tendance.
Comment résumer la relation entre deux variables quantitatives par une droite, et quelle confiance accorder à cette droite ?
2Je comprends
1. Le modèle de régression linéaire simple
On observe n couples (xi, yi). La variable y est la variable expliquée (ou réponse) ; x est la variable explicative (ou régresseur), considérée comme fixée (non aléatoire). Le modèle s'écrit :
yi = β0 + β1 xi + εi, i = 1, …, n
- β0 (ordonnée à l'origine) et β1 (pente) sont des paramètres inconnus ;
- εi est l'erreur : tout ce que x n'explique pas (sol, eau, date de repiquage, mesure…).
Les hypothèses de base, notées H1 à H4, portent sur les erreurs :
| Hypothèse | Énoncé | Ce qu'elle signifie |
|---|---|---|
| H1 Centrage | E(εi) = 0 | le modèle n'oublie pas de tendance systématique |
| H2 Homoscédasticité | V(εi) = σ2 pour tout i | la dispersion est la même quelle que soit la dose |
| H3 Non-corrélation | Cov(εi, εj) = 0 si i ≠ j | les parcelles ne s'influencent pas |
| H4 Normalité | εi ∼ N(0, σ2) | nécessaire pour les tests et intervalles exacts |
Sous H1, E(yi) = β0 + β1 xi : la droite de régression est la droite des moyennes de y sachant x. La pente β1 s'interprète comme la variation moyenne de y quand x augmente d'une unité.
2. L'estimation par les moindres carrés ordinaires
Pour des valeurs b0, b1 données, l'écart vertical entre le point i et la droite est yi - b0 - b1 xi. La méthode des moindres carrés ordinaires (MCO) choisit b0, b1 qui minimisent :
S(b0, b1) = Σi=1n (yi - b0 - b1 xi)2
En annulant les deux dérivées partielles, on obtient les équations normales :
Σ (yi - b0 - b1 xi) = 0 et Σ xi (yi - b0 - b1 xi) = 0
dont la solution est, avec les notations Sxx = Σ (xi - x)2 et Sxy = Σ (xi - x)(yi - y) :
β1 = SxySxx, β0 = y - β1 x
Formules de calcul pratiques : Sxx = Σ xi2 - nx2 et Sxy = Σ xi yi - n xy.
Conséquences directes des équations normales :
- la droite passe par le point moyen (x, y) ;
- les résidus ei = yi - yi ont une somme nulle : Σ ei = 0 ;
- les résidus sont orthogonaux à x : Σ xi ei = 0.
Sous H1 à H3, β0 et β1 sont sans biais, et V(β1) = σ2 / Sxx : plus les doses sont étalées, plus la pente est précise.
Exemple
Données de la coopérative de Faranah, n = 8.
Étape 1. Sommes : Σx = 19 ; Σy = 24,0 ; Σx² = 65 ; Σxy = 66,7 ; Σy² = 77,1.
Moyennes : x̄ = 19/8 = 2,375 ; ȳ = 24,0/8 = 3,0.
Étape 2. Sxx = 65 − 8 × 2,375² = 65 − 45,125 = 19,875.
Sxy = 66,7 − 8 × 2,375 × 3,0 = 66,7 − 57 = 9,7.
Syy = 77,1 − 8 × 3,0² = 77,1 − 72 = 5,1.
Étape 3. Pente : b1 = 9,7 / 19,875 ≈ 0,488 t/ha par sac.
Ordonnée à l'origine : b0 = 3,0 − 0,488 × 2,375 ≈ 1,841 t/ha.
Étape 4. Droite estimée : ŷ = 1,841 + 0,488 x.
Interprétation : chaque sac supplémentaire par hectare est associé, en moyenne,
à environ 0,49 t/ha de paddy en plus ; sans engrais, on attend environ 1,84 t/ha.
3. Décomposition de la variance et coefficient de détermination
La variabilité totale de y se décompose exactement (grâce aux équations normales) :
Σ (yi - y)2SCT = Σ (yi - y)2SCE + Σ (yi - yi)2SCR
- SCT : somme des carrés totale (= Syy) ;
- SCE : somme des carrés expliquée par la droite (= β1 Sxy) ;
- SCR : somme des carrés résiduelle.
Le coefficient de détermination est la part de variabilité expliquée :
R2 = SCESCT = 1 - SCRSCT, 0 ≤ R2 ≤ 1
En régression simple, R2 = r2, où r = Sxy / √Sxx Syy est le coefficient de corrélation linéaire.
| Parcelle | xi | yi | yi | ei |
|---|---|---|---|---|
| P1 | 0 | 1,9 | 1,841 | 0,059 |
| P2 | 1 | 2,6 | 2,329 | 0,271 |
| P3 | 1 | 2,0 | 2,329 | −0,329 |
| P4 | 2 | 2,8 | 2,817 | −0,017 |
| P5 | 3 | 3,6 | 3,305 | 0,295 |
| P6 | 3 | 3,0 | 3,305 | −0,305 |
| P7 | 4 | 3,8 | 3,793 | 0,007 |
| P8 | 5 | 4,3 | 4,281 | 0,019 |
On vérifie que la somme des résidus vaut 0 (aux arrondis près). Ici SCE = 0,488 × 9,7 ≈ 4,734, SCR = 5,1 - 4,734 ≈ 0,366 et R2 ≈ 4,734 / 5,1 ≈ 0,928 : la dose d'engrais explique environ 93 % de la variabilité des rendements de ces huit parcelles.
Attention : un R2 élevé ne prouve ni la causalité, ni la validité du modèle. Il se calcule sur l'échantillon et ne dit rien des doses non observées.
4. Variance des erreurs et test de la pente
La variance σ2 est estimée sans biais par la variance résiduelle :
s2 = σ2 = SCRn - 2
On divise par n - 2 car deux paramètres ont été estimés (deux contraintes sur les résidus). On en déduit les erreurs-types :
se(β1) = s√Sxx, se(β0) = s √1n + x2Sxx
Sous H1 à H4, β1 - β1se(β1) suit une loi de Student à n - 2 degrés de liberté. D'où :
- le test de Student de H0 : β1 = 0 (pas de lien linéaire) contre H1 : β1 ≠ 0, avec la statistique T = β1 / se(β1) ; on rejette H0 au niveau α si |T| > t1-α/2; n-2 ;
- l'intervalle de confiance de niveau 1 - α : β1 ± t1-α/2; n-2 se(β1).
Le test équivalent par l'analyse de la variance utilise F = SCE / 1SCR / (n-2), qui suit une loi de Fisher F(1, n-2) sous H0 ; en régression simple, F = T2.
Exemple
Suite de l'exemple de Faranah (n − 2 = 6 degrés de liberté).
Étape 1. s² = 0,366 / 6 ≈ 0,0610 ; s ≈ 0,247 t/ha.
Étape 2. se(b1) = 0,247 / √19,875 ≈ 0,247 / 4,458 ≈ 0,0554.
Étape 3. T = 0,488 / 0,0554 ≈ 8,81. Quantile : t(0,975 ; 6) = 2,447.
|T| = 8,81 > 2,447 : on rejette H0 au niveau 5 %. La dose d'engrais a un effet
linéaire significatif sur le rendement (p-valeur ≈ 0,0001).
Étape 4. IC à 95 % de la pente : 0,488 ± 2,447 × 0,0554 = [0,353 ; 0,624] t/ha par sac.
Étape 5. Contrôle : F = 4,734 / 0,0610 ≈ 77,6 ≈ 8,81² ; cohérent.
5. Estimer la moyenne et prévoir une nouvelle observation
Pour une dose x0, la valeur ajustée y0 = β0 + β1 x0 sert à deux questions différentes :
| Question | Intervalle (niveau 1-α, quantile t = t1-α/2; n-2) |
|---|---|
| Rendement moyen de toutes les parcelles recevant x0 | y0 ± t s √1n + (x0 - x)2Sxx |
| Rendement d'une nouvelle parcelle recevant x0 | y0 ± t s √1 + 1n + (x0 - x)2Sxx |
L'intervalle de prévision est toujours plus large : il ajoute à l'incertitude sur la droite la variabilité propre de la nouvelle parcelle (le « 1 » sous la racine). Les deux intervalles s'élargissent quand x0 s'éloigne de x.
Exemple
Prévision pour x0 = 2,5 sacs/ha.
Étape 1. ŷ0 = 1,841 + 0,488 × 2,5 ≈ 3,061 t/ha.
Étape 2. (x0 − x̄)²/Sxx = 0,125²/19,875 ≈ 0,0008.
Étape 3. Moyenne : 0,247 × √(0,125 + 0,0008) ≈ 0,0876 ; IC = 3,061 ± 2,447 × 0,0876 = [2,85 ; 3,28].
Étape 4. Prévision : 0,247 × √(1,1258) ≈ 0,262 ; IP = 3,061 ± 2,447 × 0,262 = [2,42 ; 3,70].
Lecture : la coopérative peut annoncer un rendement moyen entre 2,85 et 3,28 t/ha,
mais une parcelle donnée pourra se situer entre 2,42 et 3,70 t/ha.
Ne jamais extrapoler loin des données : rien ne dit que l'effet reste linéaire à 10 sacs/ha (saturation, verse du riz, coût).
6. La démarche complète
Méthode
- Tracer le nuage de points ; vérifier que la forme est à peu près linéaire.
- Calculer x̄, ȳ, Sxx, Sxy, Syy.
- Estimer b1 = Sxy/Sxx puis b0 = ȳ − b1 x̄ ; interpréter la pente avec ses unités.
- Calculer SCE = b1 Sxy, SCR = Syy − SCE, R² = SCE/Syy.
- Estimer s² = SCR/(n − 2), puis se(b1) = s/√Sxx.
- Tester H0 : β1 = 0 avec T = b1/se(b1) et la loi de Student à n − 2 ddl.
- Donner les intervalles demandés (pente, moyenne, prévision) et rester dans la plage des x observés.
- Contrôler les résidus (leçon 3) avant de conclure.
Les mêmes calculs se font en quelques lignes :
import numpy as np
x = np.array([0, 1, 1, 2, 3, 3, 4, 5])
y = np.array([1.9, 2.6, 2.0, 2.8, 3.6, 3.0, 3.8, 4.3])
b1, b0 = np.polyfit(x, y, 1) # pente puis ordonnée à l'origine
print(round(b0, 3), round(b1, 3)) # 1.841 0.4883Je retiens
Je retiens
Modèle : y = β0 + β1 x + ε, erreurs centrées, de même variance σ², non corrélées (normales pour les tests).
MCO : b1 = Sxy/Sxx et b0 = ȳ − b1 x̄ ; la droite passe par (x̄, ȳ).
Les résidus ont une somme nulle et sont orthogonaux à x.
SCT = SCE + SCR et R² = SCE/SCT ; en régression simple R² = r².
s² = SCR/(n − 2) estime σ² ; se(b1) = s/√Sxx.
Test de la pente : T = b1/se(b1) suit Student à n − 2 ddl sous H0 ; F = T².
L'intervalle de prévision (une observation) est plus large que l'intervalle de confiance de la moyenne.
4Erreurs fréquentes
- Diviser SCR par n ou par n − 1 au lieu de n − 2 pour estimer σ².
- Confondre intervalle de confiance de la moyenne et intervalle de prévision d'une nouvelle valeur.
- Conclure à une causalité parce que R² est proche de 1.
- Extrapoler la droite bien au-delà des valeurs de x observées.
- Interpréter la pente sans unités ou inverser les rôles de x et de y (la régression de x sur y donne une autre droite).
5Je m’exerce
1Exercice 1
(Questions de cours)
a) Énoncez les hypothèses H1 à H4 du modèle linéaire simple.
b) Pourquoi divise-t-on SCR par n − 2 ?
c) Démontrez que la droite des MCO passe par le point moyen.
Voir le corrigéCacher le corrigé
a) H1 : E(εi) = 0 ; H2 : V(εi) = σ2 constante ; H3 : erreurs non corrélées deux à deux ; H4 : erreurs normales N(0, σ2) (indépendantes).
b) Les résidus vérifient deux contraintes linéaires (Σ ei = 0 et Σ xi ei = 0) : il ne reste que n - 2 degrés de liberté. Avec ce dénominateur, E(SCR / (n-2)) = σ2 : l'estimateur est sans biais.
c) La première équation normale donne Σ yi = n b0 + b1 Σ xi, soit y = b0 + b1 x : le point (x, y) est sur la droite.
2Exercice 2
Une étude sur cinq exploitations maraîchères de Kindia relie la surface cultivée x (ha) à la production de tomates y (t) :
| x | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| y | 2,5 | 4,0 | 6,5 | 7,0 | 9,0 |
a) Calculez x, y, Sxx, Sxy, Syy.
b) Déterminez la droite des moindres carrés.
c) Calculez les résidus, vérifiez que leur somme est nulle, puis calculez R2.
d) Estimez la production d'une exploitation de 3,5 ha.
Voir le corrigéCacher le corrigé
a) x = 3 ; y = 29/5 = 5,8 ; Sxx = 10 ; Sxy = (-2)(-3,3) + (-1)(-1,8) + 0 + 1 × 1,2 + 2 × 3,2 = 6,6 + 1,8 + 1,2 + 6,4 = 16 ; Syy = 10,89 + 3,24 + 0,49 + 1,44 + 10,24 = 26,3.
b) b1 = 16/10 = 1,6 t/ha ; b0 = 5,8 - 1,6 × 3 = 1,0. Droite : y = 1,0 + 1,6 x.
c) Valeurs ajustées : 2,6 ; 4,2 ; 5,8 ; 7,4 ; 9,0. Résidus : −0,1 ; −0,2 ; 0,7 ; −0,4 ; 0. Somme : 0. SCR = 0,01 + 0,04 + 0,49 + 0,16 + 0 = 0,70 ; R2 = 1 - 0,70/26,3 ≈ 0,973.
d) y = 1,0 + 1,6 × 3,5 = 6,6 t.
3Exercice 3
Sur n = 20 observations, un logiciel donne β1 = 0,84 et se(β1) = 0,35. On donne t0,975; 18 = 2,101.
a) Testez H0 : β1 = 0 au niveau 5 %.
b) Construisez l'intervalle de confiance à 95 % de β1.
Voir le corrigéCacher le corrigé
a) T = 0,84 / 0,35 = 2,40 > 2,101 : on rejette H0 au niveau 5 %, la pente est significativement non nulle.
b) 0,84 ± 2,101 × 0,35 = 0,84 ± 0,735, soit [0,105 ; 1,575]. L'intervalle ne contient pas 0, ce qui est cohérent avec a).
4Exercice 4
Montrez que SCE = β1 Sxy et en déduire que R2 = r2 en régression simple.
Voir le corrigéCacher le corrigé
yi - y = β1 (xi - x) car la droite passe par le point moyen. Donc SCE = β12 Sxx = β1 · SxySxx · Sxx = β1 Sxy.
Alors R2 = SCESyy = Sxy2Sxx Syy = r2.
5Exercice 5
Pour les données de Faranah, la coopérative envisage 8 sacs/ha. Calculez la valeur prévue par la droite et expliquez pourquoi Mariama doit refuser de présenter ce chiffre comme fiable.
Voir le corrigéCacher le corrigé
y = 1,841 + 0,488 × 8 ≈ 5,75 t/ha. Ce chiffre est une extrapolation : les doses observées vont de 0 à 5 sacs/ha. Rien ne garantit que la réponse reste linéaire (effet de saturation agronomique, risque de verse, coût de l'engrais). De plus, l'intervalle de prévision s'élargit fortement : (8 - 2,375)2 / 19,875 ≈ 1,59 s'ajoute sous la racine. Il faut un essai avec des doses plus élevées avant de conclure.
6Exercice 6
(Type examen) Une société de transport de bauxite de la région de Boké étudie, sur n = 12 rotations, la consommation de gazole y (litres) en fonction de la distance parcourue x (km). On donne : x = 20, y = 50, Sxx = 250, Sxy = 400, Syy = 700, et t0,975; 10 = 2,228.
a) Estimez la droite de régression et interprétez la pente.
b) Calculez SCE, SCR et R2.
c) Estimez σ2, puis testez la nullité de la pente au niveau 5 %.
d) Donnez l'intervalle de confiance à 95 % de la pente.
e) Donnez l'intervalle de prévision à 95 % de la consommation d'une rotation de 25 km.
Voir le corrigéCacher le corrigé
a) b1 = 400/250 = 1,6 L/km ; b0 = 50 - 1,6 × 20 = 18 L. Droite : y = 18 + 1,6 x. Chaque kilomètre supplémentaire coûte en moyenne 1,6 litre de gazole ; les 18 litres correspondent à une consommation fixe (chargement, attente, manœuvres), à interpréter avec prudence car x = 0 n'est sans doute pas observé.
b) SCE = 1,6 × 400 = 640 ; SCR = 700 - 640 = 60 ; R2 = 640/700 ≈ 0,914.
c) s2 = 60/10 = 6 ; s ≈ 2,449 L. se(b1) = √6/250 ≈ 0,155. T = 1,6/0,155 ≈ 10,33 > 2,228 : la pente est significative.
d) 1,6 ± 2,228 × 0,155 = [1,255 ; 1,945] L/km.
e) y0 = 18 + 1,6 × 25 = 58 L. Erreur de prévision : s√1 + 1/12 + 25/250 = 2,449 × √1,1833 ≈ 2,665. IP : 58 ± 2,228 × 2,665 = [52,1 ; 63,9] L.
Cherchez d’abord seul, sur votre cahier, puis ouvrez le corrigé pour comparer.
6Je vérifie
Choisissez une réponse pour chaque question : la correction s’affiche aussitôt.
Karamö, votre enseignant
Il a lu cette leçon. Posez-lui votre question : il vous répond ici.
Connectez-vous pour poser vos questions à Karamö.
Avec un compte Kharandi gratuit, vous cochez les leçons terminées et vous suivez votre progression, cours par cours.