Estimation Par Moindres Carres - Sillard P

. .

Résumé :
L'estimation linéaire est née à la fin du dix-huitième siècle avec les travaux de Gauss et Legendre. Le souci principal que partageaient ces deux scientifiques concernait l'utilisation optimale de l'observation d'un phénomène en vue de sa connaissance. Cette interrogation partait du postulat que plus on observe une grandeur, mieux on la connaît. Cette remarque était d'ailleurs en grande partie fondée sur la connaissance du problème en dimension une : à cette époque, la méthode dite "des milieux" spécifiait que pour une variable observée n fois, on disposait, en la moyenne arithmétique des n observations, d'une estimation fois plus précise qu'une observation individuelle de la variable. Le problème consistait, pour ces deux grands savants, dans l'élaboration d'une généralisation de cette méthode d'estimation en dimension p. Il fallut toutefois attendre les travaux de Laplace pour affirmer le caractère décisif de la théorie des moindres carrés par l'apport de considérations statistiques à la résolution du problème d'optimisation traité par Gauss et Legendre. En termes mathématiques, il s'agit d'inverser, d'une façon optimale à définir, une équation f(x) = y, où f est une fonction de classe C1 de IRp dans IRn(n p), y constituant la variable des observations et x la variable des paramètres à déterminer. Il est clair, et le lecteur le constatera au cours des premiers paragraphes de ce document, que la méthode de détermination de la variable x de l'équation f(x) = y n'est pas unique. Toutefois, parmi les méthodes pouvant être envisagées pour résoudre le problème, il en est une qui se distingue des autres par son aisance de traitement : la méthode des moindres carrés. Cette méthode tire son nom du critère d'optimisation choisi : il consiste en une minimisation de la norme euclidienne du vecteur de IRn, v = f(x) - y, appelé vecteur des résidus de mesure. Il représente une partie inexplicable par f, de la mesure, assimilable grossièrement à l'erreur de mesure. Or, précisément, la norme euclidienne du vecteur v est la racine carrée de la somme des carrés de ses composantes. Ainsi, minimiser la norme du vecteur des résidus de mesure revient à minimiser la somme des carrés de ses composantes, d'où l'appellation de moindres-carrés. La méthode des moindres carrés classique sera présentée aux deuxième et troisième chapitres de cet ouvrage. La méthode des moindres carrés, bien qu'ayant été inventée il y a bientôt deux siècles, est encore très utilisée aujourd'hui, particulièrement dans les sciences de l'univers à vocation métrologique (astronomie, géodésie, mécanique céleste). Les sciences métrologiques ne sont d'ailleurs pas les seules utilisatrices des moindres carrés. Par exemple, un domaine entier des sciences économiques, l'économétrie, s'appuie sur cette technique pour élaborer des modèles d'évolution permettant une prédiction. Ainsi, l'objectif de prévision est souvent celui qui prélude à l'emploi des moindres carrés et on pourrait citer, à ce titre, beaucoup d'autres disciplines utilisatrices de cette méthode.