Développement : Théorème de Gauss - Markov

Détails/Enoncé :

Mots clefs : Estimateur linéaire - Moindre carré - Modèle linéaire bruité / gaussien

Théorème de Gauss - Markov :
Soient n observations indépendantes $Y_1,...Y_n$ faites aux nivaux $x_1,...,x_n$ de x. C'est à dire, supposons que $Y_i=ax_i+b+\epsilon_i$ où les variables aléatoires $\epsilon$ sont indépendantes, centrées d'ordre 2 et de variance inconnue $\sigma^2$.

Alors l'estimateur linéaire de variance minimum parmi tous les estimateurs linéaires sans biais $(a,b)$ sont les estimateurs de moindre carré.

Pour aller plus loin, même résultat pour le modèle linéaire gaussien (les bruits sont gaussiens), avec en plus des renseignements qualitatifs sur ces estimateurs.

Recasages pour l'année 2025 :

Versions :

  • Auteur :
  • Remarque :
    REF : Ouvrard 2, Chapitre 13.4 de la proposition 13.14 jusqu'au théorème 13.18.

    Développement entièrement tiré du Ouvrard 2 pour faire une leçon lacunaire.

    Ce développement est un agrégat de développements. La première partie traite de distance (au sens des moindres carrés), et touche aux extremums dans un evn. (Minimisation de la distance). On manipule beaucoup de opérateurs d'auto/inter-covariance, qui sont en soit des formes quadratiques (à peine) deguisées. Tous les produits scalaires sont utilisés comme simplification pour ne pas faire appel au dual. Si besoin, pour la leçon dualité, on peut réécrire les produits scalaires comme images d'elements du dual. Les solutions d'estimées de droite de régression sont en fait des solutions approchées d'un système d'équations linéaires (On résoud $y_i-(ax_i+b)=0, \forall i\in[|1,n|]$).Dans la deuxième partie, on trouve la continuité et la dérivation dans la log-vraisemblance (un peu au chausse-pied) et la convergence de V.A. On trouve l'indépendance des V.A dans les deux parties.
  • Référence :

Références utilisées dans les versions de ce développement :

Probabilités 2 , Ouvrard (utilisée dans 42 versions au total)