劉應興的部落格

統計上 "自由度" 來源自卡方分布。卡方變量的定義是

Ｘ^2 = Σ_{i=1~r} Zi^2

其中 Zi, i=1,...,r, 是 r 個相互獨立的標準常態變量，這樣的 X^2 是具有 r 個自由度的卡方變量 (具卡方分布）。

常態群體樣本變異數 s^2 = Σ(Xi-Xbar)^2/(n-1), 其中 Xi 是 i.i.d. N(μ,σ^2) 變量。則

    (n-1)s^2/σ^2 = Σ(Xi-Xbar)^2/σ^2

可以經線性轉換變成 n-1 個 i.i.d. 標準常態變量的平方和，所以說樣本變異數有 n-1 個自由度。

統計上很常用的 t 統計量，其最簡單形式是

    t = (Xbar - μ)/√(s/n)

自由度 r 的 t 變量的數學定義是

    T = Z/√(w/r)

其中 Z 是標準常態變量，與卡方變量 W 機率獨立。而前面的 t 可以表示成

     t = (√n(Xbar - μ)/σ)／√((Σ(Xi-Xbar)^2/σ^2)/(n-1))

可證得在常態群體， Xbar 與 s^2 獨立，也就是說 "／" 的左邊 (是一個標準常態變量) 與右邊根號內 (是一個卡方變量除以其自由度) 是相互獨立隨機變數, 所以是 n-1 自由度的 t 變量。

F 變量是定義為 (X^2/r1)/(Y^2/r2), 其中 X^2 與 Y^2 相互獨立，分別是 r1, r2 自由度的卡方變量。所以 F 分布會有兩個自由度數值，因為它是由兩個卡方變量所決定的。

再深一層看，如果 Y 是一個具多變量常態分布 N(0,V) 的隨機向量，一個二次式 Y'AY (其中 A 是非負碓定對稱 矩陣) 若滿足

    VAVAV = VAV

將具有自由度 rank(VA) 的卡方分布。這是線性模型 (含迴歸模型，實驗設計楔型) 裡常需要的基本定理；此外還有兩二次式相互獨立的條件：

VAVBV = 0.

在前述 i.i.d. 諸 Xi 的例子，V=(σ^2)I, 

Xbar-μ = (J/n)'(X-μJ),

式中 J 是元素都是 1 的行向量 (J' 就是列向量），而

    　Σ(Xi-Xbar)^2 = (X-μJ)'(I-JJ'/n)(X-μJ)

可以得

     (J/n)'(I-JJ'/n) = 0 且 (I-JJ'/n)^2 = (I-JJ'/n),

前者是 Xbar 與 W = Σ(Xi-Xbar)^2 獨立的條件，後者是 W/σ^2 服從卡方分布的條件，而

    rank(I-JJ'/n) = n-1.

至於列聯表的卡方統計量，在大樣本時能應用卡方檢定，是緣於二項分布漸近常態分布，多項分布漸近多變量常態分布。而其自由度的決定，亦如同前述多變量常態分布二次式與卡方分布的關係一般。

上面 "自由度" 被矩陣的 rank 所定義，但實際上它就是:

自由度 = 二次式中自由變量的個數。

如樣本變異數的核心 Σ(Xi-Xbar)^2 雖有 n 個組成二次式的變量 Xi-Xbar, 但因有 Σ(Xi-Xbar) = 0 的 "限制", 所以其實只有 n-1 個獨立變量，也就是諸 Xi-Xbar 其中 n-1 個決定了，第 n 個也就決定了。又如二變項列聯表獨立性檢定卡方統計量

    ΣΣ(n(ij)-m(ij))^2/m(ij)

有 rc 個二次項，但因

    Σ_i (n(ij)-m(ij)) = 0 for all j
    Σ_j (n(ij)-m(ij)) = 0 for all i

共有 r+c-1 個實質的限制，因此這 rc 個二次項實際只有

 rc-(r+c-1) = (r-1)(c-1)

個自由度。

對數概度比 (log likelihood ratio) 檢定統計量在大樣本也涉及卡方，其實也是中央極限定理的應用。設

H0: test model M0,  H1: whole model M

兩者各以其參數的 MLE 代入計算概似度，求比，然後轉成對數。這就是對數概度比統計量，可以漸近等同 M 中m 個參數 MLE 與參數值離差 (漸近 m 變量常態) 的二次式，但因有 M0 中實質 k 個參數之 MLE 的抵消，相當於有 k 個實質限制式，所以最後概度比統計量有 m-k 個自由度，也就是 M 比 M0 實際多出的參數。