劉應興的部落格

最大概似估計 (maximum likelihood estimation) 是統計學中一個堪稱最重要的估計方法，至少是「之一」。一方面它是個系統性的，「看似合理」的方法；另方面是它在一些「正規條件」之下具有一些「好」性質，如漸近常態、漸近有效、函數變換等變等。

最大概似估計法就是以使概似函數 (likelihood function) 極大化之參數當作參數估計值的方法。概似函數是根據觀測到的所有資料建構的，可用以表現參數值概似度（或譯概似性、似然性, likelihood），參數 θ 的函數，就是在參數值 θ 之下資料為 x 的機率密度或機率質量 f(x; θ)，視為 θ 的函數並表示為 L(θ; x)。為什麼 f(x; θ) 是 θ 的概似度？如果 θ 本身是隨機的，並且有機率密度（或質量）π(θ), 則在看到資料 x（或 X=x）後 θ 的條件機率密度是

p(θ|x) = f(x; θ) π(θ)/m(x)

又稱理髮師悖論 (barber paradox)，（悖論 (paradox) 也譯詭論、奇論）：某城裡一個理髮師宣稱他將給城裡所有不自己刮臉的人刮臉，也僅為不自己刮臉的人刮臉。疑問是：理髮師為不為自己刮臉？很容易發現不論理髮師為不為自己刮臉都會產生矛盾。

羅素不是閒極無聊地管起理髮師的問題，他只是用來比喻集合的描述性定義：{x : P(x)}, 其中 P(x) 是一個邏輯語句，將造成矛盾。實情是：如果 P(x) 是

x not in x (or: x not belong to x)

先前在「細談：樣本空間與隨機變數」一文我們提及除了實數值和複數值隨機變數之外，可以有向量值隨機變數（隨機向量）、矩陣值隨機變數（隨機矩陣）等等，統計上就有一個重要的機率分布：Wishart 分布，就是涉及一種隨機矩陣，scatter matrix: 設 X1,...,Xr 是 i.i.d. N(0,V) 的 R^p 隨機向量，則隨機矩陣 S = Σ_i XiXi' 的分布稱為具自由度 r 的 Wishart 分布，以 W_p(V,r) 或 W(V,p,r) 表示。

設 V 是正確定的 (positive definite), r ≧p（英文版 wiki）或 r > p（中文版 wiki），則 S 有機率密度

    f(S) = |S|^{(r-p-1)/2}e^{-tr(V^(-1)S)/2}/{2^(rp/2)|V|^(r/2)Γ_p(r/2)}

實務上常有一種情形：研究對象是一個小群體，不適合或無需再抽樣，因而「理論上」所做的統計分析是敘述統計，什麼統計量的標準誤、信賴區間、統計假說等都和這群體無關。然而事實上研究者不這麼想，也不願意「只是」做敘述統計描述一下這個小群體的狀況。

真正的描述統計應用不是沒有，事實上許多政府統計，包括長川登記的週期性報告與一些普查的報告都是常見的例子；私人機構也會有群體資料蒐集及整理結果的報告。它們對蒐集資料的機構都很有用，是了解一個群體的重要資料。不過，除此之外，很多時候在這些群體資料背後，研究者還會假想有一個超群體的存在，而對此超群體進行統計推論。

一個典型例子是時間數列分析。時間數列每一期資料可能是當時某個群體的資料，也可能是對當時某個群體的抽樣資料，但是對時間數列的推論，事實上都是假設了一個超群體的存在，在這樣的假設架構下，即使每期資料都是當時的群體資料，因此整個時間數列可能是整段歷史群體（各期群體的整合）的一個群體結果，但在統計人員眼中，這些資料只是一個隨機過程的一個樣本路徑 (sample path) 的一個片段，而統計分析的目的就是藉由這一個樣本路徑的片段推論整個隨機過程的結構，用以解釋某些問題或預測此過程此路徑未來的可能變化。

統計上 "自由度" 來源自卡方分布。卡方變量的定義是

Ｘ^2 = Σ_{i=1~r} Zi^2

其中 Zi, i=1,...,r, 是 r 個相互獨立的標準常態變量，這樣的 X^2 是具有 r 個自由度的卡方變量 (具卡方分布）。

二向列聯表，指兩個類別變數交叉排列的次數表。設 X, Y 是兩類別變數，X 的分類是 i = 1, 2 ,..., r; Y 的分類是 j = 1, 2, ..., c，而交叉分類結果得 r×c 表，有 r 個列（row, 在中國大陸及日本則稱之為行） c 個行（column, 在中國大陸及日本則稱之為列）。X 稱為列變數，Y 稱為行變數。第 i 列 j 行交叉細格機率用 π(ij) 表示，觀察 n 個隨機個案依其 X, Y 屬性分類結果落在 i, j 細格的次數是 n(ij)，此細格期望次數或稱理論次數是 m(ij)。註標之對應位置用 + 表示該註標被加總，如 n(i+) 表第 i 列之總次數，即 n(ij) 對 j 加總，故 n = n(++); π(+j) = P[Y = j]。

列聯表之分析，有 X 與 Y 獨立與否之卡方檢定或形雖異實相同的均齊性檢定，可參見「次數表之卡方檢定」一文；有 XY 關聯強度指標之計算，另有重複測量之列聯表的特殊分析，最廣為人知的是 2×2 表的 McNemar 檢定。本文不談衡量 XY 關聯強度的傳統統計量數，也不談 X, Y 是同一屬性重複量測結果的情形，而只談 X, Y 是一般兩種不同屬性的列聯表關聯模型。

當 X, Y 相互獨立時，π(ij) = π(i+)π(+j), 以對數線性模型來表示，則是

所謂基本事件 (elementary event)，是只含單一樣本點的事件。不過，在一般性的樣本空間，單一樣本點構成的子集還不一定是一個事件，不一定可賦與機率。但如果樣本空間是在實數線 R 上，單點集或單元素集 (singleton) 確實是一個事件。

初學機率，多從單點集之機率開始，甚至有「機會均等」假設做為決定事件機率的方法，此時的樣本空間假設是有限的。但談到隨機變數，或談實驗可能結果無限多的情況，或者不再能保持機會均等假設，或者在所謂連續型機率分布會發現：怎麼單點機率都是 0？

事實上一般的樣本空間常是無限的，甚至不可數的，甚至其基數比實數線 R 來得高。因此，我有一個猜想：如果一個機率空間包含基本事件，則至多可數個單點事件有正的機率。

集合的大小可能不是重要的課題，不過有時它也是一個被關心的課題。排列組合可說就是關於集合元素個數的算術，測度論是以一個宇集 (universal set) 為基礎討論如何賦予其子集一個「大小」測度的課題。本文要談的，所謂集合大小類似排組數學中的元素個數，只是真正的重點在元數個數是無限的情形。

我們知道空集合 { } 沒有任何元素，或說有 0 個元素；{1}, {a}, {{}} 都是含有一個元素。我們可把一個集合有幾個元數稱之為此集合的「基數 (cardinal number)」, 集合 A 的基數可以用 #A 來表示，兩集合 A, B 有一樣多的元素，也就是兩集合基數相等，#A = #B。如果 A, B 是有限集合，也就是 #A, #B 是有限值，則 #A = #B 的充要（充分且必要）條件是存在 A, B 之間一個一對一且映成 (one-to-one and onto) 的函數 f: A → B。因此，如果存在 A → B 的一對一函數，就是 #A ≦ #B。那如果集合的元素個數無限呢？直接用一個 ∞ 表示嗎？集合論不這麼看待，例如自然數集 N = {1,2,3,...} 或 (0,1,2,...} 與實數集 R 就是有不同的基數，或說其「勢 (cardinality)」不同。為此，我們定義何謂兩個集合有相同基數或相同的勢：

　　兩集合 A, B 之間若存在一個一對一且映成的函數 f: A → B,

機率論中，樣本空間是一個隨機實驗所有可能結果所形成的集合，隨機變數是從樣本空間映至實數線或複數平面的函數；隨機向量可以看成是多個隨機變數組成的向量，也可以說是定義在樣本空間的一個向量值函數；同樣我們可以在樣本空間定義矩陣值函數，那就是隨機矩陣。一堆隨機變數組合成一個整體，有時也稱隨機過程 (random or stochastic process)，有時稱隨機場 (random field)。

通常這一堆隨機變數用一個實數或整數值註標組成的稱之為隨機過程，而隨機場可以是隨機過程，也可以是有兩個以上的註標，這些註標所在範圍通常是 R^k，但也可以是其他域 (domain) 如某個流形 (manifold)。甚至，除了實數值隨機變數、複數值隨機變數、向量值隨機變數（即：隨機向量），我們可考慮張量值隨機變數、函數值隨機變數或隨機函數。那麼，隨機過程和隨機場裡每個成員隨機變數除了實數值或複數值以外，也可以是向量值、張量值、或函數值。

這看起來很複雜，其實複數值隨機變數 Z 只不過是兩個實數值隨機變數 X, Y 湊成一對，把它當成複數看待罷了；向量值隨機變數不過是有限或無限個實數值或複數值隨機變數湊在一起構成一個向量 (X1,...,Xn) 而已。函數值隨機變數 W(t) 對應每個 t 它就是一個實數、複數或向量值隨機變數。如果我們考慮一個向量值隨機過程：{ Vt; t in T}, 就是說針對每個 t，有一個隨機向量 Vt = (X1t,...,Xnt), 這可以看成一個兩註標的隨機場，可以看成同時有 n 個隨機過程，也可以看成是一個 n 維的函數值隨機向量 (X1(t),...,Xn(t)), 每個分量 Xi(t) 是一個隨機函數。所以，最基礎的是實數值隨機變數，或者再加一個複數值。而向量值、張量值、函數值，隨機向量、隨機過程、隨機場等，都只是為了應用方便的不同組合，不同稱呼罷了。

離差量數 (measures of dispersion), 或稱差異量數 (measures of variability), 也稱離中趨勢（量數）, 與集中趨勢相應和。

統計上最常用的離差量數是標準差，其次是平均差，另外有均互差、全距、四分位距與四分位差。

全距 (range) 是指資料的最大值與最小值的差；不過這名詞也用於表示 (極小, 極大) 這樣的一組數值。全距比較不適用於理論群體，因為很多理論群體如常態群體，指數群體是無界的；另一些有界理論群體如均勻、超幾何、二項等全距是顯見的。對群體而言，只有真實世界的有限群體較具意義。對樣本來說，全距受詬病的是它僅依賴極端值，而就隨機樣本來說我們最怕極端值太偏離正常值，嚴重影響我們對資料分布的評判。

學統計的人大概都知道「動差母函數 (moment generating function, 簡寫 m.g.f.)」, 也知道 m.g.f. 除了可用以計算動差之外，有許多好性質，更重要的是它可唯一決定對應的分布，也就是 X, Y 兩隨機變數（或向量）有相同 m.g.f., 則它們的分布相同。但是，m.g.f. 卻不一定存在！事實上 X 的 m.g.f. 要存在，首先必需其各階動差都存在，而且動差增長 (對任意非負整數 n, E[|X|^(n+1)] 的 n+1 次方根總是大於，至少相等於 E[|X|^n] 的 n 次方根；其實 n 不是整數也對，n+1 改成 n+r 也對) 不能太快。與 m.g.f. 相關的，有機率母函數 (probability gererating function) 或稱階乘動差母函數 (factorial moment generating function), 累差母函數 (cumulant generating function) 都和 m.g.f. 有直接的關係，所以是同時存在或同時不存在；特徵函數 (ch. f.或譯：特性函數) 則不同，它以 E[e^{itX}] 定義，i 是虛數單位，是必定存在的。

雖然形式上 ch.f. 涉及複變數，但 it 只是實變數 t 乘上虛數單位 i，而且 e^{itx} = cos(tx) + i sin(tx), 因此並不需要真的以複變積分來考慮它的定義，考慮實變的積分即可。由於 cos(．), sin(．) 都是有界且連續的，或者說 e^{itx} 是有界且連續的，因此，ch.f. 一定存在，這是 ch.f. 相較於 m.g.f. 優勢的地方。而重要的是：m.g.f. 能唯一決定一個分布的特性，ch.f. 也有。並且，由於 m.g.f. M(t) = E[e^{tX}] 與 ch.f. φ(t) = E[e^{itX}] 的定義式，我們知道如果 M(t) 存在，則 φ(t) = M(it), M(t) = φ(-it), 所以 m.g.f. 唯一決定一個分布的結論，事實上可說是來自 ch.f. 的同一特性。所以在較高階或較一般性的課程或討論，用的通常是 ch.f. 而非 m.g.f.。

特性函數 φ(t) = E[e^{itX}] 一定存在，即使 X 的高階動差甚至一階動差都不存在，ch.f. 仍然存在。但如果 X 的 n 階動差存在，φ(t) 與其 n 階展開式

「正交 (orthogonal)」這個形容詞在統計中出現得不少，如隨機變數的正交變換、正交分解，線性模型的正交對比 (contrast)，實驗的直交表 (orthogonal array) 設計，多項式迴歸的正交多項式。先前在「統計（隨機）變數間的擬線性關係」就把 Y 對 X 的擬線性關係說是 Y 在 X 及其垂直方向的分解。上列無論哪一種，其實都與線性代數離不開關係。

首先，定義在同一機率空間的所有實數值隨機變數形成一個佈於實數體 R 的向量空間 V，其中存在期望值的構成 V 的一個子空間 W，存在二階動差的又是 W 的一個子空間 U. 欲驗證 V 是一個向量空間並不難，其一，隨機變數與其間的加法運算構成一個交換群 (commutative group) 或稱 Abel 群；其二，隨機變數與實數間的乘法也符合結合律、乘對加的分配律及 1X = X 等性質，也就是說 V 配備向量加法及純量乘法兩種運算，確實構成了一個向量空間。而若 X, Y 期望值存在，aX+bY 期望值也存在；X, Y 二階動差存在，aX+bY 亦然。所以 W 是 V 的子空間，U 又是 W 的子空間。

談「正交」或垂直，離不開內積 (inner product).