劉應興的部落格

在 Neymann-Pearson 檢定，也就是傳統假說檢定中，「不拒絕虛無假說」常被強調不能解釋為「接受虛無假說」, 通常的理由是 N-P 檢定只藉由「顯著水準」來控制型Ⅰ誤機率，卻未能有效控制型Ⅱ誤發生機率，一個水準 α 檢定的型Ⅱ誤機率可以高達 1-α。一個水準 α 檢定是說如‵果參數 θ 是符合或說落在虛無假說之內，犯型Ⅰ誤的機率不超過 α。因此，如果檢定結果是拒絕虛無假說 H 而接受對立假說 K，這表示我們可能犯了型Ⅰ誤，也可能 θ 確實不在 H 而是在 K 內。但如果是前者，由於 α 值通常取很小，表示如果實際上 θ 在 H 之內，我們會判定 θ 不在 H 之內的機率很小，因此我們寧願冒著犯型Ⅰ誤的風險而認定 K 成立。但另一方面，如果檢定結果是「不拒絕 H」, 實際上 θ 是可能確實在 H　內，但如果 θ 在 K 內我們仍有很大機會，例如接近 1-α 的機率，因此沒有理由判定說 θ 在 H 之內。

本文考慮成對比較假說：H': a ≦ b 對 K': a > b，H": b ≦ c 對 K": b > c 與 H: a ≦ c 對 K: a > c。此處 a, b, c 是實數值參數。由於是實數參數，"≦" 和 ">" 都應滿足遞移性（遞移律），a ≦ b 且 b ≦ c 蘊涵 a ≦ c，即：若 H' 和 H" 都成立則 H 成立；類似地，K' 和 K" 都成立則 K 成立，即 a > b 且 b > c 則 a > c。

假設對參數比較之檢定都以點估計量之差建構 t 統計量進行，令 A, B, C 分別是參數 a, b, c 的點估計量，針對 H' 對 K'，H" 對 K"，與 H 對 K 的假說檢定統計量分別是

聯集交集檢定 (Union-intersection test, UIT) 是對於一組 Hi 對 Ki 的假說檢定，成立一個綜合的假說檢定：

H: all of the Hi's are true,   K: some of the Ki's are true

如果 Hi 是 θ in Θ°i, Ki 是 θ in Θ'i，則

在多重檢定，例如變異數分析 (ANOVA) 中的多重比較，一直被關注的是族錯誤率 (FWER, family-wise error rate)，但在控制族錯誤率的同時，不免造成檢定力 (power of a test) 的低下。為此，Benjamini and Hochberg (1995) 提出了「偽發現率 (FDR, False Discovery Rate)」的概念及相應的多重檢定程序。

偽發現率，定義為

在所有被拒絕的虛無假說中，其實犯了型Ⅰ誤者所佔比例的期望值。

在多重比較法之中，Duncan 法和 Newman-Keuls 法可以說是 Tukey 檢定的修正；對 Bonferroni 多重檢定，其目的都是在控制族錯誤率 (FWER, family-wise error rate) 的同時，掀高個別檢定的檢定力 (power of a test)。

多重檢定問題是說：我們面臨多個假說檢定問題 Hi 對 Ki，如果逐一做普通固定顯著水準的假說檢定，基於顯著水準的設置就是容許我們犯型Ⅰ誤的機會，在做這麼多檢定的過程，我們至少犯了一次型Ⅰ誤的機率是很大的。例如假設每個 Hi 對 Ki 的檢定都容許 α = 0.05 的型Ⅰ誤機率，如果做了 10 個檢定，假設這 10 個虛無假說其實都不應該被拒絕，但實際上至少一個虛無假說 Hi 會被拒絕的機率可能高達 0.5，因為

P°{reject some Hi} ≡ P{reject some Hi | all Hi are true}

月中，ptt 數學板有一個討論串：

對於x_i均非負數，i=1~n , 試證：
        (x_1+x_2+...+x_n)/n ≧ √[(x_1 x_2+x_2 x_3+...+x_n x_1)/n]

在統計假說檢定問題中，如果虛無假說 H° 和對立假說 H' 都是簡單假說，H° 是 θ = θ°，H' 是 θ = θ'，Neyman-Pearson 引理告訴我們：最佳檢定是選取 L(θ'; x)/L(θ°; x) 最大的部分當拒絕域。具體做法就是選擇一個臨界值 c 當資料 x 落在 C = {x:  L(θ'; x)/L(θ°; x) > c} 時就拒絕 H°: θ = θ° 而接受 H': θ = θ'。臨界值 c 的值決定了這個檢定犯型Ⅰ誤機率 P_{θ°}{C} 的大小。但因為檢定力P_{θ'}{C} 的大小和 P_{θ°}{C} 的大小是同向的，因為是同一個事件「拒絕 H°」的機率，只是用於計算機率的機率分布不同。所以，為了極大化檢定力，c 的選擇是使型Ⅰ誤機率在不超過顯著水準的要求下儘量放大，在可能情況使二者相等。如果對立假說是複合假說，即包含不只一組參數值，理想情況是上述 NP 檢定對於對立假說中的任一組參數值都相同，即所謂「一致最強力檢定」；或是在某些合理限制下，如限制不偏檢定，或在某種變換群之下不變的焮定，希望其中可找酊一致最強力的檢定。當虛無假說也是複合假說時，除了在虛無假說的每一點，即每一組參數值，其型Ⅰ誤機率一致被要求不超過顯著水準之外，基本上沒什麼不同，一切都是從 NP 引理始。

然而，即使加上不偏、不變的限制，其中也不一定有一致最強力檢定。例如，以統計資料分布族中的乖乖牌，指數族來說，假設最簡單的，獨立雙變量資料，其機率密度

f(x; y; θ, η) = C(θ)e^{θ T(x)} K(η) e^{η U(y)}

前幾天談的「重複量測與相關」談的是一個 X(i) 觀測值對應數個 Y(ij) 觀測值的問題，基本模型是

Y(ij) = α + β X(i) + ε(i,j),   i = 1, ..., k,  j = 1, ..., n(i)

其中假設 誤差項 ε(ij) 是 i.i.d. (0, σ^2)。本文要談另一種惰形：有 m 個個體，每個個體各有 n(i) 個重複測量的數據對 (X(ij), Y(ij))，那麼如何測量變數 X 與 Y 之間的相關？

PTT 統計板上一個問題

我有30個受　試者 每個受試者有一個 age 的data 以及 blood pressure (bp) 但bp測了2次 我知道可以每個人取得2次bp 的 average 然後直接做 bp average 與 age的correlation (圖會有30個 data point) 但如果不取2次bp 的 average 直接做 bp 與 age的correlation (圖會有60個 data point) 這應該不行吧？ 如果不取2次bp 的 average 要做這個correlation 該用什麼統計方法呢

首先，相關是怎麼測定的？在 X, Y 都是區間尺度變數時，變數間的相關主要是 Pearson 相關係數

在 https://yhliu2k.pixnet.net/blog/post/58349248 中談及  regression toward the mean 時把 Galton 的「回歸至平均值」現象解釋為

被注意到的父親身高特高的部分，可以說是偏向有較高身高基因的，但又不全是，有些基因屬較低身高的右邊極端值被歸入；又有些基因屬較高身高的左邊極端值被捨去。因此，這些身高極高的父親的基因並不純粹基因屬較高身高的。再者，即使基因屬較高身高的，其身高當是一個單峰分布。而對這些樣本，父親身高只是這個分布偏高的那一部分；子輩卻是觀察整個分布。一個分布只取較高部分，其平均值當然高於整個分布的平均值：

　　E[ X | X > c ] > E[ X ]

統計雖分成敘述統計與推論統計，一般談論的重點仍放在推論統計，而且主要是基於機率理論的統計推論。統計推論又分為：點估計、區間估計、假說檢定、與預測，但「預測」與前三者不同的是：前三者是在對群體的參數，也就是描述群體性狀的指標做猜測；而預測是在猜測尚未發生的現象，數學上來講就是對一個隨機變數做猜測，也包含點預測與區間預測。但要預測的隨機量 X 常可以表示成 X = m + ε，其中 m 是「理論值」而 ε 是隨機誤差，做 X 的點預測相當於做 m 的點估計，只是考慮預測誤差時要把 ε 也考慮進去，例如 Var(X^) = Var(m^) + Var(ε)，所以對 X 最好的預測和對 m 最好的估計合一。區間估計可以視為點估計加減一個容許誤差界限，並以一個數值來衡量我們對真實參數值落在這範圍內的「信賴」程度。區間估計程序和假說檢定程序又可視為一種程序的兩個表現

在假說檢定程序不被棄卻的虛無假設參數值，構成區間估計程序的信賴集；反之，區間估計之信賴集中的參數值，當做假說檢定之虛無假說參數值時將不被棄卻。

當然，上述對應是在同樣「水準」：假說檢定之 α 顯著水準，與區間估計之 1-α 信賴水準相對應。由此看來，統計推論問題可歸納為兩個問題：點估計問題與假說檢定問題。

如果 X1, ..., Xn 是自具連續型分布，p.d.f. f(x)，的群體抽出的（簡單）隨機樣本，則其（完整的）順序統計量

Y1<...<Yn

的聯合 p.d.f. 很容易知道，是

在線性迴歸模型 Yi = β_0 + β_1 X_1i + ... + β_k X_ki + ε_i，或矩陣式 Y = Xβ + ε 中，最常被使用的可能是最小平方估計 (least square estimate, LSE)

minimize Q(β) = (Y-Xβ)'(Y-Xβ)    或    (Y-Xβ)'W(Y-Xβ)

無加權的最小平方法適用於 Cov(Y) = σ^2 I，加權最小平方法則適用於 Cov(Y) = σ^2V，其中 V 已知且可逆，並取 W = V^{-1}，結果，Gauss-Markov 定理告訴我們：

假設有成對資料 (Xi, Yi), 其中 Yi 稱為「反應觀測值 (response observations)」而 Xi 是「「輔助觀測值 (auxiliary observations)」, 我們常希望建立一個函數關係來表現兩者間的關係:

Yi = g(Xi)

在統計上假設

除美麗島民調可查到元月 11-12 日調查結果外，其他都是封關前民調。民調及實際得票結果如下：

表中得票結果對應民調支持率的是得票率，是以總選舉人數為母數的得票率；另外得票比例（以有效票數為母數）對應民調所謂「估計得票比」，即民調中有表態支持哪一組的人為母數。但民調中未表態人比例並不等於未投票及廢票比例，兩者雖有相關，但完全是不同概念。不考慮民調與投票日至少相差 11 日，中間民意當然會有變化，也不考慮投票率高低嚴重影響投票結果，單以最終結果來說，顯然聯合報結果最準確，百分率至小數點之後才‵有差異。除三党內參民調之外，僅鏡新聞對侯康配一組結果偏低，另兩組雖略偏高但大致在誤差範圍——因剔除未表態的，民調結果之「估計得票比」之統計誤差當然高於支持率，如果民調支持率的誤差大約 3 個 % 的話（樣本數略多於 1000），得票比的誤差大約高出 20-40%。很遺憾的是三党的內參民調（如果美瓏島民調是民進党內參）都與投票結果不一致，是因選舉策略而對外做誇大己身支持率，或是因封關民調與投票日有差距民意改變，或是投票率所致，或是支持意向與投票行為之間的落差則不得而知。反過來說，因為民意改變、投票率偏低、棄保心理等因素，上述民調結果與投票結果的吻合，反而是很奇怪的現象，如果這是「理所應當」，那是否意謂民調封關後那十天的競選活動、棄保操作都無效？而且民調未表態與不投票行為幾乎可以等同？

再看三家內參民調，參考國民党市話和手機民調的結果，美麗島民調也是全市話，和國民党全市話民調相比，賴蕭偏高而侯康偏低，至於柯盈估計得票比偏低的現象倒是符合市話民調的特色。國民党內參民調長達兩週１２月１５日至２８日，在瞬息即變的選舉民意，這樣的調查是很奇怪的，如果調查順序與地區、人口特性無關，算是調查期間的民意表現吧，但結果也算是離投票日較遠了，按理其結果應有較大差異。民眾党內參民調兼採市話和手機，其結果介於國民党內參民調市話和手機之間，這是合理的。不過民眾党上列封關前最後一次民調結果是三足平衡鼎立，和實際得票比差異不可謂不大，引來「做假騙票」之疑。然而民調花費不小，沒有人會花錢做假資料騙自己，假設民眾党真的發佈的是假結果，因其宣稱原始資料都可公開，是否意謂其所公布資料自始都是假的？若真如此，為何都無流言傳出？以下為民眾党內參民調在登記日後各次結果：

在中位數 m 使 e(a) = E[|X-a|] 當 a = m 時最小的問題中， 如果試圖用微分法證明，則將遭遇所謂積分式之微分問題。當 X 之分布屬連續型時，

e(a) = E[|X-a|] = ∫_R |x-a| f(x) dx
       = ∫_(-∞, a] (a-x) f(x) dx + ∫_[a, ∞) (x-a) f(x) dx

近日媒體瘋炒民調加權問題，我沒任何資料，也不知各方民調結果發表數據加權是否得當，但必須說一句：加權，在很多時候是必要的；又有時候雖非必要，卻是改善精確度的好方法。

何時加權必要，何時又雖非必要但加權又比不加權好？如果群體是有分成幾個次群體，抽樣是按次群體分別抽出樣本，但各層抽出率不等，則加權是必要的，這就是所謂「分層抽樣 (stratified sampling)」；如果抽樣時未分層，但有各層（次群體）大小，將樣本資料分層統計後再依各層大小加權，這稱為「事後分層 (post-stratification)」。

分層抽樣是實務統計調查經常使用的方法。統計調查最受關注的當然是群體平均數（群體比例也是一種平均數），但各次群體平均差異預想可知極明顯時，或各次群體的平均數等統計特徵也是關注標的時，分層抽樣變成一種有利或必要的策略。例如調查工廠盈利、營收、員工、薪資等，將整個群體按登記資本額或其他已有數據可查能代表工廠規模的標準分層，各層相互獨立隨機抽出足以代表該層的 n_h 家工廠進行調查。台灣許多全國性的大型調查如勞動力調查、家庭收支調查。前列兩項調查都是首先以各縣市為次群體，再於各次群體內採用分層二段抽樣，先依某些變數將全縣市內村里分屠，再從各層獨立隨機抽出第一段樣本，又從各樣本村里中抽出適當數量的樣本戶接受調查。分屠分段抽樣可說是大型調查的常態，有的機構做全台調查更會採取分層三段抽樣。不過本文談的是分層抽樣，不涉及分段。

非參數化方法 (Non-parametric method)，常譯「無母數方法」，與有母數方法或參數化方法 (parametric method) 相對。後者是假定群體分布是一個特定的分布，只是其中有有限個參數未知，因此統計推論只集中在那些未知參數；非參數化方法則對群體的分布假設比較寬鬆，不限制在某一特定分布。

有許多人在論及非參數化方法時會有些誤解，例如樣本太小不適用參數化方法，應採用非參數化方法。又如認為非參數化方法不需對群體做假設。但實際上非參數化方法最基本的是假設分布為連績續型，另外不同推論對群體有不同限定。而非參數化方法既然適用於更少限定的群體，也就是說統計人員對群體的已知訊息較少，其推論自然是較缺效率，如果對參數化方法猶嫌樣本太小，又如何更適用非參數化方法？許多非參數化檢定，最後甚至總引用中央極限定理以決定臨界值，更需要「樣本數夠大」。

對群體推論最基本的起點，大概就是群體分布的位置，所謂平均數、位置量數、集中趨勢。由於群體分布可能範圍太廣，我們甚至不能確定群體平均數理論上存在與否。當然，也可把群體限制在平均數存在，甚至限制在存在第二動差，那麼樣本平均數仍然是群體平均數的不偏估計；甚至在二階動差存在的情況，如果樣本數「夠大」，我們甚至可以引用中央極限定理而主張樣本平均數的 t 變量近似標準常態，或做群體平均數檢定時 t 統計量漸近服從常態分布。困難是：可能的群體分布，即使在其二階動差存在的限制之下，還是太廣了，所謂「樣本數夠大」的界線在哪裡？所以，非參數化方法幾乎都不對平均數做推論。集中趨勢以眾數為代表，只對單峰分布較有意義，也不常討論。在非參數化方法中，通常用以代表位置的，是中位數。

傳統的二項群體是：群體中有 N 個或無窮多個成員，其值有 p 的比例是 1，有 q = 1-p 的比例是 0。故

群體平均數 μ = p

群體變異數 σ^2 = pq = p(1-p) 

考慮一個隨機向量 Y，其共變異矩陣為 V。將 V 分割成 2×2 區塊矩陣如如下：

V = [ A  B ]
    [ B' C ]

假設 Y(i1), ..., Y(in_i), i = 1, ..., k, 是相互獨立分別來自 N(μ_i, σ^2_i) 的樣本資料，也就是說分別自 k 個常態群體獨立抽取大小為 n_i 的隨機樣本，總樣本大小為 n = Σ n_i。我們關心 k 群體之變異數 σ^2_1, ..., ο^2_n 是否相等，

H0: σ^2_1 = . . . = σ^2_k = σ^2,   Ha: some σ^2_i ≠ σ^2_j

概度比檢定 (likelihood ratio test) 統計量是