投稿者: toughman

[mathjax]前の投稿では擬似逆行列を用いて、回帰直線を得る方法を解説しました。

今回は、擬似逆行列を用いて、高次の回帰曲線を得る方法を説明します。

一般に、n次元曲線の方程式は次のように表現されます。

\[y={ a }_{ 0 }+{ a }_{ 1 }{ x }+{ a }_{ 1 }{ x }^{2}+\cdots +{ a }_{ n }{ x }^{ n } \qquad (1)\]

この\(x,y\)が、点\((x_1,y_1)\)、\((x_2,y_2)\)、\((x_3,y_3)\)、、、やその近傍を通過して欲しいならば、式(1)に代入して、その係数を求めます。その際、点の数は係数\(a_i\) \((i=0\)～\(n)\)の数\(n+1\)以上が必要です。今その点数を\(m\)個とすると、以下のように書き下せます。

\[{ y }_{ 1 }={ a }_{ 0 }+{ a }_{ 1 }{ x }_{ 1 }+{ a }_{ 2 }{ x }_{ 1 }^{ 2 }\cdots +{ a }_{ n }{ x }_{ 1 }^{ n }\qquad (2)\]

\[{ y }_{2}={ a }_{ 0 }+{ a }_{ 1 }{ x }_{2}+{ a }_{ 2 }{ x }_{2}^{ 2 }\cdots +{ a }_{ n }{ x }_{2}^{ n }\qquad (3)\]

\[\cdot \cdot \cdot \cdot \cdot \cdot \cdot \]

\[{ y }_{m}={ a }_{ 0 }+{ a }_{ 1 }{ x }_{m}+{ a }_{ 2 }{ x }_{m}^{ 2 }\cdots +{ a }_{ n }{ x }_{m}^{ n }\qquad (4)\]

これを行列で表すと

\[\left[ \begin{matrix} { y }_{ 1 } \\ { y }_{ 2 } \\\cdot\\ { y }_{ m } \end{matrix} \right] =\left[ \begin{matrix} 1 & { x }_{1} & { x }_{1}^2 & \cdots & { x }_{1}^{n} \\ 1 & { x }_{ 2 } & { x }_{2}^2 & \cdots & { x }_{2}^{n} \\ \cdot & \cdot & \cdot & \cdots & \cdot \\ 1 & { x }_{ m } & { x }_{m}^2 & \cdot & { x }_{ m }^{n} \end{matrix} \right] \left[ \begin{matrix} { a }_{ 0 } \\ { a }_{ 1 } \\ { a }_{2}\\\cdot\\ { a }_{n} \end{matrix} \right] \qquad (5)\]
となります。これは前の投稿の式(5)と同じ式に簡略化できます。

\[Y = XA\qquad (6)\]

従って、前の投稿と同じ方法で係数\(A\)を求めることができるので、前の投稿の式(15)と同じ次の結果が得られます。

\[A = (X^TX)^{-1}X^TY\qquad (7)\]

このように、擬似逆行列を用いれば、高次の回帰曲線であろうが、単なる回帰直線であろうが、同じ計算手法で簡易に算出することができます。なんと有り難い計算手法でしょう！これは最小二乗法などを用いた場合の煩雑な計算に較べ、大きな特長といえます。

[mathjax]数学の美しさ、完璧さに幾度となく驚いた私でしたが、擬似逆行列もその一つでした。その例を一つご紹介します。
直線の方程式は次のようにあらわされます。
\[y= ax + b\qquad (1)\]
この直線が点(\(x_1,y_1\))と点(\(x_2,y_2\))を通過するならば、
\[y_1= ax_1 + b\qquad (2)\]

\[y_2= ax_2 + b\qquad (3)\]が成立します。これを行列で書くと

\[\left[ \begin{matrix} y_1 \\ y_2 \end{matrix} \right]=\left[ \begin{matrix} { x }_{ 1 } & 1 \\ { x }_{ 2 } & 1 \end{matrix} \right]\left[ \begin{matrix} a \\ b \end{matrix} \right] \qquad (4)\]

となります。各行列を簡略化して表すと

\[Y= XA\qquad (5)\]となります。

\(X\)が逆行列\({ X }^{ -1 }\)を持つならば（正則行列）、式(5)の両辺に左側から\({ X }^{ -1 }\)を乗じて

\[{ X }^{ -1 }Y= { X }^{ -1 }XA\qquad (6)\]

ここで、

\[{ X }^{ -1 }X= E\qquad (7)\]

\(E\)は単位行列。よって、式(6)は下記となります。

\[{ X }^{ -1 }Y = A \qquad (8)\]

結果として得られた式(8)は、式(5)の\(X, Y\)が単なる変数である場合に得られる

\[A=\frac { Y }{ X }\qquad (9)\]

と同様の形をしています。

まあ、ここまでは普通の逆行列を用いた計算で、そういう風に表現できるんだ、で済む話ですが、ここから擬似逆行列が本領を発揮します。

式(1)は2点を通る直線という条件において、式(8)により係数\(a,b\)を出すことができます。しかし、一直線上にない3点以上が与えられた場合、式(8)から1組の係数\(a,b\)を出すことは出来ません。

それは、3点以上が与えられた場合、式(5)の各項は下記のようになり、

\[Y=\left[ \begin{matrix} y_1 \\ y_2 \\ y_3 \end{matrix} \right] \qquad (10)\]

\[A=\left[ \begin{matrix} a \\ b \end{matrix} \right]\qquad (11)\]

\[X=\left[ \begin{matrix} { x }_{ 1 } & 1 \\ { x }_{ 2 } & 1 \\ { x }_{ 3 } & 1 \end{matrix} \right] \qquad (12)\]

\(X\)は正方行列ではなくなり、逆行列をもてないからです。

しかし、行列演算をうまく行うと、式(10)、式(11)、式(12)で構成された\(Y=XA\)から、一組の\(A\)を出すことができるのです。

その方法は\(A\)の前にある行列項を、行列演算して正方行列に変換することです。

式(5)の両辺に左から、\(X\)の転置行列\(X^T\)を乗じます。
\[X^TY= X^TXA\qquad (13)\]

\(X^TX\)は正方行列になるので、これが正則行列であるならば、逆行列\((X^TX)^{-1}\)が存在します。逆行列を式(13)の左から掛けると
\[(X^TX)^{-1}X^TY= (X^TX)^{-1}X^TXA\qquad (14)\]
右辺\(A\)の前の行列演算結果は単位行列\(E\)となるので、次式が得られます。
\[(X^TX)^{-1}X^TY = A \qquad (15)\]

このようにして一組の係数\(A\)が得られました。

このように逆行列を持てない行列に対し、転置行列を乗じて正方行列に転換し、逆行列を作成することを擬似逆行列と呼びます。

ううう～ん、擬似逆行列、恐ろしや、3点以上を直線式に代入しても、一つの直線式を算出することができたのです。

ところで、この直線は何を意味しているのでしょうか？

これこそが代入した全ての点の回帰直線、即ち、点から直線までの距離の二乗の和が最も小さい直線なのです。

図１．回帰直線

私はこの手法を知った時に、数学の美しさというか完璧さというか一貫性というか、そういうものに感動しました。

回帰直線は、最小二乗法を用いて算出することがよく行われていますが、その導出過程の考え方の煩雑さに対し、擬似逆行列では式(5)から\(A\)を算出するという非常にシンプルな考え方になっています。