劉應興的部落格

在統計假說檢定問題中，如果虛無假說 H° 和對立假說 H' 都是簡單假說，H° 是 θ = θ°，H' 是 θ = θ'，Neyman-Pearson 引理告訴我們：最佳檢定是選取 L(θ'; x)/L(θ°; x) 最大的部分當拒絕域。具體做法就是選擇一個臨界值 c 當資料 x 落在 C = {x:  L(θ'; x)/L(θ°; x) > c} 時就拒絕 H°: θ = θ° 而接受 H': θ = θ'。臨界值 c 的值決定了這個檢定犯型Ⅰ誤機率 P_{θ°}{C} 的大小。但因為檢定力P_{θ'}{C} 的大小和 P_{θ°}{C} 的大小是同向的，因為是同一個事件「拒絕 H°」的機率，只是用於計算機率的機率分布不同。所以，為了極大化檢定力，c 的選擇是使型Ⅰ誤機率在不超過顯著水準的要求下儘量放大，在可能情況使二者相等。如果對立假說是複合假說，即包含不只一組參數值，理想情況是上述 NP 檢定對於對立假說中的任一組參數值都相同，即所謂「一致最強力檢定」；或是在某些合理限制下，如限制不偏檢定，或在某種變換群之下不變的焮定，希望其中可找酊一致最強力的檢定。當虛無假說也是複合假說時，除了在虛無假說的每一點，即每一組參數值，其型Ⅰ誤機率一致被要求不超過顯著水準之外，基本上沒什麼不同，一切都是從 NP 引理始。

然而，即使加上不偏、不變的限制，其中也不一定有一致最強力檢定。例如，以統計資料分布族中的乖乖蜂，１指數族來說，假設最簡單的，獨立雙變量資料，其機率密度

f(x; y; θ, η) = C(θ)e^{θ T(x)} K(η) e^{η U(y)}

前幾天談的「重複量測與相關」談的是一個 X(i) 觀測值對應數個 Y(ij) 觀測值的問題，基本模型是

Y(ij) = α + β X(i) + ε(i,j),   i = 1, ..., k,  j = 1, ..., n(i)

其中假設 誤差項 ε(ij) 是 i.i.d. (0, σ^2)。本文要談另一種惰形：有 m 個個體，每個個體各有 n(i) 個重複測量的數據對 (X(ij), Y(ij))，那麼如何測量變數 X 與 Y 之間的相關？

PTT 統計板上一個問題

我有30個受　試者 每個受試者有一個 age 的data 以及 blood pressure (bp) 但bp測了2次 我知道可以每個人取得2次bp 的 average 然後直接做 bp average 與 age的correlation (圖會有30個 data point) 但如果不取2次bp 的 average 直接做 bp 與 age的correlation (圖會有60個 data point) 這應該不行吧？ 如果不取2次bp 的 average 要做這個correlation 該用什麼統計方法呢

首先，相關是怎麼測定的？在 X, Y 都是區間尺度變數時，變數間的相關主要是 Pearson 相關係數

在 https://yhliu2k.pixnet.net/blog/post/58349248 中談及  regression toward the mean 時把 Galton 的「回歸至平均值」現象解釋為

被注意到的父親身高特高的部分，可以說是偏向有較高身高基因的，但又不全是，有些基因屬較低身高的右邊極端值被歸入；又有些基因屬較高身高的左邊極端值被捨去。因此，這些身高極高的父親的基因並不純粹基因屬較高身高的。再者，即使基因屬較高身高的，其身高當是一個單峰分布。而對這些樣本，父親身高只是這個分布偏高的那一部分；子輩卻是觀察整個分布。一個分布只取較高部分，其平均值當然高於整個分布的平均值：

　　E[ X | X > c ] > E[ X ]

統計雖分成敘述統計與推論統計，一般談論的重點仍放在推論統計，而且主要是基於機率理論的統計推論。統計推論又分為：點估計、區間估計、假說檢定、與預測，但「預測」與前三者不同的是：前三者是在對群體的參數，也就是描述群體性狀的指標做猜測；而預測是在猜測尚未發生的現象，數學上來講就是對一個隨機變數做猜測，也包含點預測與區間預測。但要預測的隨機量 X 常可以表示成 X = m + ε，其中 m 是「理論值」而 ε 是隨機誤差，做 X 的點預測相當於做 m 的點估計，只是考慮預測誤差時要把 ε 也考慮進去，例如 Var(X^) = Var(m^) + Var(ε)，所以對 X 最好的預測和對 m 最好的估計合一。區間估計可以視為點估計加減一個容許誤差界限，並以一個數值來衡量我們對真實參數值落在這範圍內的「信賴」程度。區間估計程序和假說檢定程序又可視為一種程序的兩個表現

在假說檢定程序不被棄卻的虛無假設參數值，構成區間估計程序的信賴集；反之，區間估計之信賴集中的參數值，當做假說檢定之虛無假說參數值時將不被棄卻。

當然，上述對應是在同樣「水準」：假說檢定之 α 顯著水準，與區間估計之 1-α 信賴水準相對應。由此看來，統計推論問題可歸納為兩個問題：點估計問題與假說檢定問題。

如果 X1, ..., Xn 是自具連續型分布，p.d.f. f(x)，的群體抽出的（簡單）隨機樣本，則其（完整的）順序統計量

Y1<...<Yn

的聯合 p.d.f. 很容易知道，是

在線性迴歸模型 Yi = β_0 + β_1 X_1i + ... + β_k X_ki + ε_i，或矩陣式 Y = Xβ + ε 中，最常被使用的可能是最小平方估計 (least square estimate, LSE)

minimize Q(β) = (Y-Xβ)'(Y-Xβ)    或    (Y-Xβ)'W(Y-Xβ)

無加權的最小平方法適用於 Cov(Y) = σ^2 I，加權最小平方法則適用於 Cov(Y) = σ^2V，其中 V 已知且可逆，並取 W = V^{-1}，結果，Gauss-Markov 定理告訴我們：

假設有成對資料 (Xi, Yi), 其中 Yi 稱為「反應觀測值 (response observations)」而 Xi 是「「輔助觀測值 (auxiliary observations)」, 我們常希望建立一個函數關係來表現兩者間的關係:

Yi = g(Xi)

在統計上假設

除美麗島民調可查到元月 11-12 日調查結果外，其他都是封關前民調。民調及實際得票結果如下：

表中得票結果對應民調支持率的是得票率，是以總選舉人數為母數的得票率；另外得票比例（以有效票數為母數）對應民調所謂「估計得票比」，即民調中有表態支持哪一組的人為母數。但民調中未表態人比例並不等於未投票及廢票比例，兩者雖有相關，但完全是不同概念。不考慮民調與投票日至少相差 11 日，中間民意當然會有變化，也不考慮投票率高低嚴重影響投票結果，單以最終結果來說，顯然聯合報結果最準確，百分率至小數點之後才‵有差異。除三党內參民調之外，僅鏡新聞對侯康配一組結果偏低，另兩組雖略偏高但大致在誤差範圍——因剔除未表態的，民調結果之「估計得票比」之統計誤差當然高於支持率，如果民調支持率的誤差大約 3 個 % 的話（樣本數略多於 1000），得票比的誤差大約高出 20-40%。很遺憾的是三党的內參民調（如果美瓏島民調是民進党內參）都與投票結果不一致，是因選舉策略而對外做誇大己身支持率，或是因封關民調與投票日有差距民意改變，或是投票率所致，或是支持意向與投票行為之間的落差則不得而知。反過來說，因為民意改變、投票率偏低、棄保心理等因素，上述民調結果與投票結果的吻合，反而是很奇怪的現象，如果這是「理所應當」，那是否意謂民調封關後那十天的競選活動、棄保操作都無效？而且民調未表態與不投票行為幾乎可以等同？

再看三家內參民調，參考國民党市話和手機民調的結果，美麗島民調也是全市話，和國民党全市話民調相比，賴蕭偏高而侯康偏低，至於柯盈估計得票比偏低的現象倒是符合市話民調的特色。國民党內參民調長達兩週１２月１５日至２８日，在瞬息即變的選舉民意，這樣的調查是很奇怪的，如果調查順序與地區、人口特性無關，算是調查期間的民意表現吧，但結果也算是離投票日較遠了，按理其結果應有較大差異。民眾党內參民調兼採市話和手機，其結果介於國民党內參民調市話和手機之間，這是合理的。不過民眾党上列封關前最後一次民調結果是三足平衡鼎立，和實際得票比差異不可謂不大，引來「做假騙票」之疑。然而民調花費不小，沒有人會花錢做假資料騙自己，假設民眾党真的發佈的是假結果，因其宣稱原始資料都可公開，是否意謂其所公布資料自始都是假的？若真如此，為何都無流言傳出？以下為民眾党內參民調在登記日後各次結果：

在中位數 m 使 e(a) = E[|X-a|] 當 a = m 時最小的問題中， 如果試圖用微分法證明，則將遭遇所謂積分式之微分問題。當 X 之分布屬連續型時，

e(a) = E[|X-a|] = ∫_R |x-a| f(x) dx
       = ∫_(-∞, a] (a-x) f(x) dx + ∫_[a, ∞) (x-a) f(x) dx

近日媒體瘋炒民調加權問題，我沒任何資料，也不知各方民調結果發表數據加權是否得當，但必須說一句：加權，在很多時候是必要的；又有時候雖非必要，卻是改善精確度的好方法。

何時加權必要，何時又雖非必要但加權又比不加權好？如果群體是有分成幾個次群體，抽樣是按次群體分別抽出樣本，但各層抽出率不等，則加權是必要的，這就是所謂「分層抽樣 (stratified sampling)」；如果抽樣時未分層，但有各層（次群體）大小，將樣本資料分層統計後再依各層大小加權，這稱為「事後分層 (post-stratification)」。

分層抽樣是實務統計調查經常使用的方法。統計調查最受關注的當然是群體平均數（群體比例也是一種平均數），但各次群體平均差異預想可知極明顯時，或各次群體的平均數等統計特徵也是關注標的時，分層抽樣變成一種有利或必要的策略。例如調查工廠盈利、營收、員工、薪資等，將整個群體按登記資本額或其他已有數據可查能代表工廠規模的標準分層，各層相互獨立隨機抽出足以代表該層的 n_h 家工廠進行調查。台灣許多全國性的大型調查如勞動力調查、家庭收支調查。前列兩項調查都是首先以各縣市為次群體，再於各次群體內採用分層二段抽樣，先依某些變數將全縣市內村里分屠，再從各層獨立隨機抽出第一段樣本，又從各樣本村里中抽出適當數量的樣本戶接受調查。分屠分段抽樣可說是大型調查的常態，有的機構做全台調查更會採取分層三段抽樣。不過本文談的是分層抽樣，不涉及分段。

非參數化方法 (Non-parametric method)，常譯「無母數方法」，與有母數方法或參數化方法 (parametric method) 相對。後者是假定群體分布是一個特定的分布，只是其中有有限個參數未知，因此統計推論只集中在那些未知參數；非參數化方法則對群體的分布假設比較寬鬆，不限制在某一特定分布。

有許多人在論及非參數化方法時會有些誤解，例如樣本太小不適用參數化方法，應採用非參數化方法。又如認為非參數化方法不需對群體做假設。但實際上非參數化方法最基本的是假設分布為連績續型，另外不同推論對群體有不同限定。而非參數化方法既然適用於更少限定的群體，也就是說統計人員對群體的已知訊息較少，其推論自然是較缺效率，如果對參數化方法猶嫌樣本太小，又如何更適用非參數化方法？許多非參數化檢定，最後甚至總引用中央極限定理以決定臨界值，更需要「樣本數夠大」。

對群體推論最基本的起點，大概就是群體分布的位置，所謂平均數、位置量數、集中趨勢。由於群體分布可能範圍太廣，我們甚至不能確定群體平均數理論上存在與否。當然，也可把群體限制在平均數存在，甚至限制在存在第二動差，那麼樣本平均數仍然是群體平均數的不偏估計；甚至在二階動差存在的情況，如果樣本數「夠大」，我們甚至可以引用中央極限定理而主張樣本平均數的 t 變量近似標準常態，或做群體平均數檢定時 t 統計量漸近服從常態分布。困難是：可能的群體分布，即使在其二階動差存在的限制之下，還是太廣了，所謂「樣本數夠大」的界線在哪裡？所以，非參數化方法幾乎都不對平均數做推論。集中趨勢以眾數為代表，只對單峰分布較有意義，也不常討論。在非參數化方法中，通常用以代表位置的，是中位數。

傳統的二項群體是：群體中有 N 個或無窮多個成員，其值有 p 的比例是 1，有 q = 1-p 的比例是 0。故

群體平均數 μ = p

群體變異數 σ^2 = pq = p(1-p) 

考慮一個隨機向量 Y，其共變異矩陣為 V。將 V 分割成 2×2 區塊矩陣如如下：

V = [ A  B ]
    [ B' C ]

假設 Y(i1), ..., Y(in_i), i = 1, ..., k, 是相互獨立分別來自 N(μ_i, σ^2_i) 的樣本資料，也就是說分別自 k 個常態群體獨立抽取大小為 n_i 的隨機樣本，總樣本大小為 n = Σ n_i。我們關心 k 群體之變異數 σ^2_1, ..., ο^2_n 是否相等，

H0: σ^2_1 = . . . = σ^2_k = σ^2,   Ha: some σ^2_i ≠ σ^2_j

概度比檢定 (likelihood ratio test) 統計量是

在一因子變異數分析中，當分組，也就是子群體間變異數不等時，如果我們已知各群體間變異數的相對比值，也就是「線性模型：當誤差非等幅變異時」一文假設的  Cov(ε) = σ^2 , 其中 V 已知，並且此處假設 V 是荏對角線矩陣 V = BlkDiak(v_1 I_1,  . . ., v_k I_k), 此處 BlkDiag 是區塊對角線 (block diagonal matrix)，k 個區塊表示 k 個子群體 k 組子樣本，各子樣本內是常數變異數 σ^2 v_i, i = 1, ..., k。其估計和檢定在前引文及「線性模型：誤差項共變異非滿秩問題」一文已有敘述（含推導）。在常態誤差假設之下，前二文以向量幾何方式推導的線性模型方法，或所謂 Gauss-Markov 方法，與最大概似估計 (maximum likelihood estimate) 以及概似比檢定 (likelihood ratio test) 基本是一致的，唯一的差別是 σ^2 的估計，G-M 方法以自由度除 SSE 而 MLE 是以樣本數除之。本文是將前述一般模型具體化到一因子 ANOVA，也就是 k 個群體平均數比較的具體計算式表現出來。

一因子 ANOVA 模型可以寫成

Y_ij = μ_i + ε _ij,   j = 1, ..., n_i;  i = 1, ..., k

耍怎麼介紹一個統計方法？筆者想到或看過的，大概三種方式：

1. 用最簡單易懂的方法介紹該法是在做什麼，用於何處何時。最好有個實例。

2. 介紹該方法怎麼計算，最好有個實例或簡例。

假設 P{A} 未知，λ = P{B|A}, μ = P{B|A'} 已知，能否由 b = P{B} 推知 P{A}？

設 x = P{A}，則 P{B} = x P{B|A} + (1-x) P{B|A'}，因此可解出 x = P{A} = (b-μ)/(λ-μ)。

如果 P{B} 是估計的，則由 x = b/(λ-μ) - μ/(λ-μ) 得

統計中樣本大小的計算說難也難，說易也易。說難，傳統抽樣方法（基於設計的抽樣，design-based sampling）的教本上公式一大堆，這些公式無非是群體平均或總值點估計式、前項估計式之變異數或其估計、樣本數計算。而現在的抽樣方法更有基於模型的抽樣 (model-based sampling)，其樣本數決定當然是另一種方式。再有各種統計分析方法，研究計劃中計算所需樣本數，或研究後檢討：如果再做相關研究，要取多大樣本。統計方法繁多，計算樣本數（樣本大小，sample size）的公式是隨著統計方法跑的，當然少不了。但統計統計量 T 的誤差，以標準誤 SE(T) 來衡量，都是 1/√n 的級，那麼要統計量的標準誤差降低 10%，樣本數就提高 23.5%:

c/√n' = (1-0.1)c/√n  ==>  n' = n/(1-0.1)^2 ≒ (1+0.235)n

不管任何一種統計量，只要其標準誤如上所述與 √n 呈反比，結果就是這樣。從這一點來看，樣本數計算又是簡單的一件事。

事後分析 (post hoc analysis) 和多重比較 (multiple comparison) 常被混為一談，因為它們都和變異數分析 (analysis of variance) 有關，也都是關於組平均數之間（多個）單一比較式的檢定問題，例如 4 個分組，分析者想知道 μ1 和 μ2 是否有（顯著）差異？μ1, μ2 平均又是否與 μ3, μ4 平均有差異？不過，這兩者其實是不同的，多重比較應分事前比較 (a priori 或 prior comparison) 和事後比較 (a posteriori 或 post hoc comparison)，後者也就是事後分析。多重比較應該說是多種檢定的一個特例。比較 (comparison) 一詞，或稱「對比 (contrast)」, 是變異數分析中的一個平均數間線型式的比較，如前面例子，或更一般的：

H0: c_1 μ_1 + ... + c_k μ_k = 0,  其中 Σ_i c_i = 0

的檢定問題。多重比較就是說：我們需要同時做多個上述類型的檢定；而事後分析或事後比較，是在看到蒐集到的資料後才決定要做某些比較式或對比的檢定。實務上我們常看到資料後才建立某種統計模型，其實這是不對的！真正驗證性的研究，或資料分析，是蒐集資料之前就設定好要檢定什麼統計假說，而不是看到資料的模樣才去建模、設立待檢定的假說。一個研究者在看到資料之後才決定做什麼檢定，這樣的檢定一般來說是沒有意義的，或者，這樣的研究只能算探索式的 (exploratory) 研究，所做的資料分析是探索式的資料分析。