劉應興的部落格

「正交 (orthogonal)」這個形容詞在統計中出現得不少，如隨機變數的正交變換、正交分解，線性模型的正交對比 (contrast)，實驗的直交表 (orthogonal array) 設計，多項式迴歸的正交多項式。先前在「統計（隨機）變數間的擬線性關係」就把 Y 對 X 的擬線性關係說是 Y 在 X 及其垂直方向的分解。上列無論哪一種，其實都與線性代數離不開關係。

首先，定義在同一機率空間的所有實數值隨機變數形成一個佈於實數體 R 的向量空間 V，其中存在期望值的構成 V 的一個子空間 W，存在二階動差的又是 W 的一個子空間 U. 欲驗證 V 是一個向量空間並不難，其一，隨機變數與其間的加法運算構成一個交換群 (commutative group) 或稱 Abel 群；其二，隨機變數與實數間的乘法也符合結合律、乘對加的分配律及 1X = X 等性質，也就是說 V 配備向量加法及純量乘法兩種運算，確實構成了一個向量空間。而若 X, Y 期望值存在，aX+bY 期望值也存在；X, Y 二階動差存在，aX+bY 亦然。所以 W 是 V 的子空間，U 又是 W 的子空間。

談「正交」或垂直，離不開內積 (inner product). 

實隨機變數 X 與 Y 的內積，定義為 <X,Y> = E[XY].

要把 E[XY] 看成是 X, Y 之間的內積，還需要定義 "=" 這符號：

兩隨機變數 X, Y 相等，記為 X = Y, 是機率意義上的相等，即 P[X=Y] = 1.

寫在機率函數 P 之內的 X=Y 是普通意義的相等；在 P 之外的 X=Y 是向量意義的相等。在上述定義之下，<X,Y> 是從 U×U 映至 R 的雙線性、對稱、非負且非退化的函數關係，也就是它符合內積的定義。其中「非負」指的是 <X,X> 非負；而「非退化」指的是：若 <X,X> = 0 則 X = 0，這就是我們必須把隨機變數在向量意義上的相等重新定義的緣故，因為只要 X=0 a.c. (P[X=0] = 1) 就有 E[X^2] = 0.

有了以上定義，就可定義所謂「兩隨機變數正交」或「垂直」的意義了：

隨機變數 X 與 Y 正交（垂直），意謂 E[XY] = 0.

不過，這個定義通常不符合我們的需求，我們更喜歡把 Cov(X,Y) = 0 看成是 X 與 Y 垂直的定義。要違到這個目的，我們可以修改前面內積及隨機變數相等的定義：

兩實隨機變數內積 [X,Y] 定義為 Cov(X,Y) = E[(X-E[X])(Y-E[Y])].

兩隨機變數在同一等價類 (equivalence class), 記為 X == Y, 定義為 P{X-E[X]=Y-E[Y]} = 1.

這裡不好再用普通等號，所以換用雙等號，共且用了一個新名詞「等價類」，把置中（減去平均數）後機率意義上相等的所有隨機變數看成一類，以等價關係取代相等關係，則新的「內積」仍是 U×U 到 R 的一個函數關係，具雙線性、對稱性、非負且非退化，也就是完全符合內積定義。於是，兩實隨機變數間的正交等同於零共變異。這可以說是隨機變數正交性的第二種定義，也是最常用的定義。

把隨機變數看成是向量，有了內積及正交的定義，則 Y 在 X 的（垂直）投影是：

Proj_X(Y) = (<Y,X>/<X,X>)X 或 ([Y,X]/[X,X])X

兩者是採用不同內積定義（及相應的向量相等定義）的結果。以第二式為準，用統計的符號，就是

Proj_X(Y) = (Cov(X,Y)/Var(X)) X

正是我們熟知的（群體）迴歸式。同時，如果 X 是一個隨機向量，等同於多個隨機變數，則

Proj_X(Y) = X'(Cov(X))^(-1)Cov(X,Y) 

如果我們看此式的樣本版本，X 是 n×p 矩陣，Y 是 n×1 行向量，則 Y 在 c(X) (X 之行空間，即諸 X 變數資料向量張開的 R^n 的子空間）的垂直投影是

Proj_c(X)(Y) = X(X'X)^(-1)X'Y

其中 X(X'X)^(-1)X' 是在 c(X) 上的「垂直投影算子 (orthogonal projection operator)」, 常以 M_X 或簡單地 M 來表示。雖然以上群體形式和樣本形式在外觀甚至符號上有所不同，但它們可說是「投影」這概念的兩種表現形式。從群體形式來看，投影是在諸 X 隨機變數（視為向量）所張開的空間的一個向量，是諸 X 的線性組合 (linear combination), 組合係數是由 (Cov(X))^(-1)Cov(X,Y) 給定；從樣本形式來看，向量 Y 在一個子空間 c(X) 上的投影，是此子空間上的一個投影算子 M 作用在 Y 的結果，是一種線性映射的關係。