La Régression des Moindres Carrés fonctionne tout comme lorsque vous avez essayé de faire passer la ligne droite au milieu de vos points avec votre règle. Vous devez trouver l'espace total laissé entre les points et la ligne. Au lieu d'utiliser une règle et mesurer cet espace, il faut utiliser des équations pour trouver quelle est la meilleur ligne droite.

IMPORTANT: Cette méthode ne marche seulement lorsque x et y entretiennent une relation linéaire. Si x et y se trouvent sur une courbe au lieu de se trouver sur une ligne droite, il faudra utiliser une autre méthode. Souvent, vous savez si votre donnée est linéaire avant de commencer. Dans le cas contraire, il y plusieurs manières de vérifier votre travail à la fin.

Notre but est de trouver une ligne droite avec un minimum d'espace entre les points et la ligne. Il faut "réduire" cet espace.

En language mathématique, ceci est appelé " minimiser la somme des carrés de la différence" entre les points et la ligne. Cela signifie prendre tous ces petits bouts d'espace, les élever au carré puis les additionner. Il faut répéter continuellement ce processus avec différentes lignes droites jusqu'à ce que la meilleure droite soit trouvée.

Vous vous demandez sûrement pourquoi vous devez élever au carré les distances. Ne serait-ce pas plus efficace de juste additionner les distances sans les élever au carré? Elever au carré ces distances au carré est important pour trois raisons.

Premièrement, imaginez que vous jouer à la Bourse. Si vous mettiez $100 en jeu, vous ne vous inquiéteriez que peu. Mais si vous aviez mis $100 élevés au carré, au moment d'investir vous seriez beaucoup plus prudent. Elever ces sommes au carré vous force à être plus attentif à vos erreurs.

Deuxièmement, regardez le graphique 2.4. Si vous aviez quatre points comme ceux qui sont montrés ici, additionner simplement les sommes donnerait plusieurs possibilités. Comme certaines de ces valeurs sont pratiquement verticalement les unes au dessus des autres, elles pourraient faire osciller la ligne de chaque côté. Elever ces valeurs au carré donnera la ligne correcte, qui passe exactement au milieu.

Figure 2.4

Troisièmement, regardez le graphique 2.5. Si vous aviez un point qui était bien séparé des autres, il serait possible de déplacer votre ligne loin de la plupart de vos autres points si vous aviez seulement additionné les sommes. Elever au carré ces valeurs signifie que plus d'importance est mise sur la majorité des points, et donc le point qui se trouve éloigné a moins d'influence.

Figure 2.5