例えば、毎年（ｘｉ）の売上高（ｙｉ）のようなデータがあるとき、ｘを説明変数、ｙを目的変数といいます。そして、ｙ＝Ａｘ＋Ｂとしたときの、Ａ、Ｂを回帰係数といいます。
回帰分析とは、 説明変数と目的変数の関係を推定する統計的手法です。なお、説明変数が２つ以上あるとき重回帰分析といいます。
最小二乗法とは、回帰係数を求める手法です。
εｉ＝Ａｘｉ＋Ｂ－ｙｉ
としたとき、
∑εｉ２→最小
となるようなＡとＢを求める手法です。
定式化
∑（Ａｘｉ＋Ｂ－ｙｉ）２
を最小にするために、
Ｂについて微分して０とすると、
Ｂｎ＋ＡΣｘｉ＝∑ｙｉ
Ａについて微分して０とすると、
ＢΣｘｉ＋Ａ∑ｘｉ２＝∑ｘｉｙｉ
となります。この連立方程式を解くと、Ａ、Ｂが得られます。
数値例
次の５つのデータを用います。
ｘｉ ｙｉ ｘｉ２ ｘｉｙｉ
１ １０ １ １０
２ ２０ ４ ４０
３ ２０ ９ ６０
４ ３０ １６ １２０
５ ４０ ２５ ２００
１５ １２０ ５５ ４３０
すると、上の連立方程式は
５Ｂ＋１５Ａ＝１２０
１５Ｂ＋５５Ａ＝４３０
これを解くと、
Ａ＝７
Ｂ＝３
となります。
なお、このｙ＝７x＋３の式に、ｘ＝６を代入するとｙ＝７×６＋３＝４５になります。
このように、最小二乗法を予測に用いることが多いのです。
→発展：「最小二乗法（多項式、高次式）」（stat-saisyo-jijoho2）
Excelによる計算
データを入力して、関数［ｆx］をクリックすると関数の一覧表が表示されるので、LINEST を指定すると図が表示されます。
