劉應興的部落格

在多重比較法之中，Duncan 法和 Newman-Keuls 法可以說是 Tukey 檢定的修正；對 Bonferroni 多重檢定，其目的都是在控制族錯誤率 (FWER, family-wise error rate) 的同時，掀高個別檢定的檢定力 (power of a test)。

多重檢定問題是說：我們面臨多個假說檢定問題 Hi 對 Ki，如果逐一做普通固定顯著水準的假說檢定，基於顯著水準的設置就是容許我們犯型Ⅰ誤的機會，在做這麼多檢定的過程，我們至少犯了一次型Ⅰ誤的機率是很大的。例如假設每個 Hi 對 Ki 的檢定都容許 α = 0.05 的型Ⅰ誤機率，如果做了 10 個檢定，假設這 10 個虛無假說其實都不應該被拒絕，但實際上至少一個虛無假說 Hi 會被拒絕的機率可能高達 0.5，因為

P°{reject some Hi} ≡ P{reject some Hi | all Hi are true}
        ≦ Σ_i P{Reject Hi | all Hi are true}

而 P{Reject Hi | all Hi are true} 被假設大致等於 P{Reject Hi | Hi is true}，實際上依顯著水準的定義，兩者都被限制不超過預設水準。因此 FWER 可能高達 0.05 × 10 也就是 0.5。而 Bonferroni 法就是應用上列不等式，如果希望控制 FWER 不超過 α，而要考慮的假說檢定族有 m 個，則以 α/m 做為個別檢定的顯著水準。

所有多重檢定的方法首要都是控制 FWER，因此對個別 Hi 對 Ki 的橡定問題而言，其個別型Ⅰ誤機率被大幅降低，檢定力當然同時也偏低。例如原本個別型Ⅰ誤機率如果限制在 α = 0.05 以下；如今考慮控制 FWER，一般假設同樣是 α，即使考慮高一點，例如取 α = 0.10，則 Bonferroni 的方法對每個 Hi 對 Ki 檢定問題改用 α/m 顯著水準，一般也是低於 0.05 的。顯著水準低意謂拒絕域小，拒絕域小使得檢定力低。因此，如何在控制 FWER 條件下合理地提高個別檢定問題的檢定力，也是被關注的方向。Holm 對 Bonferroni 法的修正，就像 Duncan 對 Tukey 法的修正，如果整體中有一個虛無假說是可以拒絕的，把它排除，接下來用相同程序進行其他檢定問題的多重檢定。

首先，m 個橡定問題，為了控制 FWER 不超過 α，因此個別檢定問題的顯著水準被定為 α/m。Bonferroni 法是以這水準逐一做各個 Hi 對 Ki 問題的檢定，然後就結束了。採用 p-值，就是比較各問題的 p-值是否小於或等於 α/m，是的話對應的虛無假說 Hi 就被拒絕。Holm 的修正就是在第一輪只拒絕「最顯著」也就是 p-值最小的 Hi，然後把它排除，剩下的 m-1 個檢定問題的 p-值與 α/(m-1) 比較，以此類推。假設第 k 輪結果不艮顯著，也就是說 m 個 p-值中第 k 小的超過 α/(m-k+1)，意謂那 m-k+1 個依 Bonferroni 法判定不顯著，就沒必要繼續 k+1 輪了；只有在第 k 輪時能拒絕某個 Hi，才有必要再考慮其他 m-k 個 Hi 也可能顯著。

在 Holm 法中，特定的一個 Hi 可能在第一輪拒絕，也可能在後續幾輪中拒絕。如果它是在第一輪被拒絕的，套用的顯著水準與原本的 Bonferroni 法相同。但 Bonferroni 法如果也一輪只拒絕一個最顯著的，則在第 k 輪仍然套用 α/m 顯著水準，但 Holm 套用較高的 α/(m-k+1) 顯著水準。因此，總的來說，對個別 Hi 而言，Holm 法是比 Bonferroni 法容易將之拒絕的，所以就此個別問題而言，Holm 法的型Ⅰ誤機率較高，所以檢定力比較大。

就 FWER 來說。

FWER = P°{∪_i [p_i ≦ α/m] | all Hi are true}
     = P°{ min {p_i. i=1,...,m} ≦ α/m | all Hi are true}

如果第一輪沒有 Hi 被拒絕，檢定程序就結束了，結論是：所有 Hi 都不被拒絕，因此 FWER 仍被控制在 α 之內。

按多重檢定其實是在原本個別檢定之外，多考慮 FWER 的控制。如果 FWER 和個別型Ⅰ誤機率都要求相同的 α，只要控制了 FWER 不超過 α，個別型Ⅰ誤機率

FWER ≦ α 即 P{reject some Hi | all Hi are true} ≦ α
  ==>  P{Reject a particular Hi | all Hi are true} ≦ α
 　可能   P{Reject a particular Hi | Hi is true} ≦ α

如果為了保險，在控刮 FWER 之下，再考慮個別問題的 α-水準檢定，也就是說：

１° 進行 FWER 控制判定是否有某些 Hi 可被拒絕；

２° 如果在第一步判定有某些個 Hi 可能被拒絕，進行個別問題的橡定。

在 ANOVA 的多重比較中，

整體 F 檢定 + 個別比較的 t 檢定，或即「最小顯著差檢定」

應該是最高檢定力的策略了。以一般化的多重檢定來說，

Bonferroni 法整體判定 + 個別問題一般 α 水準檢定

也應是最高檢定力的檢定。只是這樣有個問題是：

明明 Bomferroni 法判定某些 Hi 不顯著，但個別檢定又判定它（們）顯著

Holm 的方法就是想以統一的程序來考慮，使得檢定力比原來的 Bonferroni 法高一些，而思考邏輯上又一致而無扞格。有人問：

既然臨界指標之後的 p 值和子假說對應的顯著水準值都隨指標增大而增大，憑甚麼不實際比較二者，就能斷言臨界指標之後的子假說都不顯著?

很簡單，就從第一輪來看，如果第一輪都不顯著了還進行第二輪，怎麼控制 FWER？如果第二輪起才適用

不論顯著與否都繈續下一輪

其結果一是思考邏輯的不一致，再則是可能 p-值較低者不拒絕，反而 p-值較高者因後續顯著水準提高而被拒絕。如此不如前述

Bonferroni 法無一被拒絕則作罷；否則用個別 α 水準檢定。

但這在「所有 Hi 都成立時」FWER 是控制了，若某些 Hi 不‵成立時，例如假設有一個不成立的虛無假說混在其中，我們重新標籤，假設 H° 不成立（K° 成立），H1,...,Hm 成立，那麼後者之中至少一個 Hi 被錯誤地拒絕的機率是多少？在純 Bonferroni 法中，每一個 Hi 被錯誤地拒絕的機率都是 α/(m+1)，因此 m 個成立的 Hi 中有任一個被錯誤拒絕的樹率

FWER ≦ mα/(m+1) < α

用 Bonferroni 控制整體 m+1 個檢定的 FWER 配合個別 α 檢定的方法，設 H° 對 K° 檢定之 p-值為 p°，對應諸Hi 之 p-值的最小值是 p*，虛無假說 Hi, i = 1, ..., m 中至少一個被拒絕的機率領是

FWER = P[p* < p°, p* ≦ α/(m+1)]  + P[p* ≧ p°, p° ≦ α/(m+1), p* ≦ α]

在 m + 1 個檢定統計量相互獨立且均是連續型的條件下，給定 p°, 諸虛無假說 Hi 中至少一個被拒絕的機率，當 p° ≦ α/(m+1) 時是

P[p* < p° | p°] + P[p* ≧ p° 且 p* ≦ α | p°] = 1 - (1-α)^m ≒ mα

當 p° > α/(m+1) 時是

P[p* < p° 且 p* ≦ α/(m+1) | p°] = 1 - [1 - α/(m+1)]^m ≒ mα/(m+1)

故 FWER 接近

P[p° ≦ α/(m+1)] (mα) + [p° > α/(m+1)] [mα/(m+1)]

若 H° 成立 p° 可視為 U(0,1) 隨機變數，但 H° 不成立而是 K° 成立，則 p° 傾向偏低，基本上就是 P[p° < t] > t。因此

FWER > [α/(m+1)] (mα) + [1-α/(m+1)]  [mα/(m+1)]
             = mα/(m+1) + [mα/(m+1)]^2

最後一式與 α 相差 [mα/(m+1)]^2 - α/(m+1)，正負不明。但該式只是 FWER 的下限，實際的 FWER 給予 mα 更多權重，因此 FWER 在 Bonferroni 加普通個別 α 水準檢定程序下，並不能真正控制 FWER，意即：

在 Bonferroni 加普通個別 α 水準檢定程序下，若所考慮的檢定族中有些虛無假說不成立，則至少有一個虛無假說被錯誤地拒絕的機率將超過 α。

再看 Holm 的修正程序，H° 不成立而 Hi, i = 1, ..., m 成立時，

FWER = P[p* < p°, p* ≦ α/(m+1)]  + P[p* ≧ p°, p° ≦ α/(m+1), p* ≦ α/m]

同樣考慮 m + 1 個檢定統計量相互獨立且均是連續型，給定 p° 值的條件下，諸虛無假說 Hi 中至少一個被拒絕的機率。當 p° ≦ α/(m+1) 時得

P[p* < p° | p°] + P[p* ≧ p° 且 p* ≦ α/m | p°] = 1 - (1-α/m)^m ≒ α

當 p° > α/(m+1) 時是

P[p* < p° 且 p* ≦ α/(m+1) | p°] = 1 - [1 - α/(m+1)]^m ≒ mα/(m+1)

因此保證了有任一個成立的虛無假說被錯誤地拒絕的機率都不超過 α。雖然以上計算是假設諸檢定統計量的相互獨立性及連續分布型，但所取的近似值就是 Bonferroni 上限，因此實際上結論不限於上述假設條件。當檢定族中有多個 Hi 不成立時，考慮對應 p-值給定之條件機率，結論也是成立的：Holm 修正能確保 FWER 真正得到控制。