劉應興的部落格

信賴區間 (Confidence interval) ， 或對應在貝氏分析中應的「可信區間 (credible interval)」，是關於一個實數值參數值落在什麼範圍的一個描述。例如說：

在 1-α 信賴水準下，民眾在 XXX 意見上表示支持的比例在 xx% 至 yy% 之間。

預測區間 (Prediction ynterval) 是於群髒未明（如：有未知其值的參數存在）之下一個實數值隨機變數可能實現在什麼範圍的一個綜合性描述，例如：

在 1-α 信賴水準下，隨機抽選 10 個民眾在 XXX 意見上表示支持的比例在 xx% 至 yy% 之間。

這裡問「隨機抽選 10 個民眾」的支持率只是一個舉例，因假設一個人的回答只有「0 =不支持」或「1=支持」兩種可能之一，觀察多人的回答才能得出有意義的支持率。如果群體特性是很明確的，在此也就是說群體的「支持率」是已知的，上列「在 xx% 至 yy% 之間」並不涉及抽樣，是固定而且明確的區間，1-α 是「隨機抽選 10 個人問其在 XXX 意見上是否支持，至少有 100(1-α)% 的結果支持比例是落在 xx% 至 yy% 之間。此時「xx% 至 yy% 之間」這個預測區間究竟包含那 10 位民眾表示支持的比例 (0/10～10/10) 多少可能性。在上列陳述中並未表明。容忍區間 (tolerance Interval, 或譯「容受區間」較合適？) 又是另一種情況：在每一組大小為 n 的樣本被觀測後，我們建立一個區間「xx% 至 yy% 之間」，群體參數 p (支持率) 的不同值使得 10 位民眾的支持率落在此區間的機率各有不同，而如果前項區間是「(1-α)信賴水準/p機率」的容忍區間，其陳述是

排容原理 (inclusion-exclusion principle) 是關於 n 個集合之聯集 ∪_{i=1～n} A(i) 的「量度」計算公式：

| ∪_{i=1～n} A(i) | = Σ |A(i)| - Σ |A(i)∩A(j)| + Σ |A(i)∩A(j)∩A(k)| - …

其中「量度」可以是有限集的元素個數、事件機率、或可測集的測度 (measure)，包括直線上有界子集的長度、平面上有界子集的面積、或一般的有限測度。

有限集的元素個數可以說是在有限樣本空間上的計數測度 (counting measure)；機率是一個特殊的有限測度，使樣本空間的測度值為 1；長度與面積分別是一維與二維的 Lebesgue 測度。所以，前項「量度」完全可以用「測度」取代，即

μ(∪_{i=1～n} A(i)) = Σ μ(A(i)) - Σ μ(A(i)∩A(j)) + Σ μ(A(i)∩A(j)∩A(k)) - …

實數值隨機變數是定義在樣本空間上的幾乎確定有限實數值函數。具體地說：X 是一個隨機變數，意指

1. X 是定義在樣本空間 Ω 的延伸實數值函數。
2. X 是可測的。
3. X 是幾乎確定有限值的。

在 Neymann-Pearson 檢定，也就是傳統假說檢定中，「不拒絕虛無假說」常被強調不能解釋為「接受虛無假說」, 通常的理由是 N-P 檢定只藉由「顯著水準」來控制型Ⅰ誤機率，卻未能有效控制型Ⅱ誤發生機率，一個水準 α 檢定的型Ⅱ誤機率可以高達 1-α。一個水準 α 檢定是說如果參數 θ 是符合或說落在虛無假說之內，犯型Ⅰ誤的機率不超過 α。因此，如果檢定結果是拒絕虛無假說 H 而接受對立假說 K，這表示我們可能犯了型Ⅰ誤，也可能 θ 確實不在 H 而是在 K 內。但如果是前者，由於 α 值通常取很小，表示如果實際上 θ 在 H 之內，我們會判定 θ 不在 H 之內的機率很小，因此我們寧願冒著犯型Ⅰ誤的風險而認定 K 成立。但另一方面，如果檢定結果是「不拒絕 H」, 實際上 θ 是可能確實在 H 內，但如果 θ 在 K 內我們仍有很大機會，例如接近 1-α 的機率，因此沒有理由判定說 θ 在 H 之內。

本文考慮成對比較假說：H': a ≦ b 對 K': a > b，H": b ≦ c 對 K": b > c 與 H: a ≦ c 對 K: a > c。此處 a, b, c 是實數值參數。由於是實數參數，"≦" 和 ">" 都應滿足遞移性（遞移律），a ≦ b 且 b ≦ c 蘊涵 a ≦ c，即：若 H' 和 H" 都成立則 H 成立；類似地，K' 和 K" 都成立則 K 成立，即 a > b 且 b > c 則 a > c。

假設對參數比較之檢定都以點估計量之差建構 t 統計量進行，令 A, B, C 分別是參數 a, b, c 的點估計量，S(.) 是對應的標準誤。針對 H' 對 K'，H" 對 K"，與 H 對 K 的假說檢定統計量分別是

t' = (A-B)/S(A-B),  t" = (B-C)/S(B-C)  與  t = (A-C)/S(A-C)

由於 A-C = (A-B) + (B-C) 而 S(A-C) ≦ S(A-B) + S(B-C)，故 t 不小於 t' 與 t" 的平均，而後者又不小於 t' 與 t" 的較小值。因此，在相同顯著水準又無需顧慮 t 統計量自由度的情形，t' 與 t" 都具顯著性蘊涵 t 也具顯著性，也就是說：

有個抽卡系統，共58張卡，其中，有5張卡抽中的機率為1/108，有2張卡抽中的機率是1/216，剩下的卡抽中的機率為1/54。
在其中的任意10張做記號變成「記號牌」，一張一張抽牌且抽後放回，抽12次，請問：
  1. 至少出現1次記號牌的機率？
  2. 至少出現3次記號牌的機率？
  3. 恰出現1次記號牌的機率？

聯集交集檢定 (Union-intersection test, UIT) 是對於一組 Hi 對 Ki 的假說檢定，成立一個綜合的假說檢定：

H: all of the Hi's are true,   K: some of the Ki's are true

如果 Hi 是 θ in Θ°i, Ki 是 θ in Θ'i，則

H: θ in ∩_i Θ°i,   K: θ in ∪_i Θ'i

若 Hi 對 Ki 之檢定的拒絕域是 x in Ci，則 H 對 K 的 UIT（UI 檢定）拒絕域為 x in ∪_i Ci。

兩年多前，做為統計假說檢定的一種程序，我們曾談過 p-值,。本文想再仔細談談 p-值這個令人又愛又恨的概念。

P-值 (p-value) 的一個定義是：

以當前手上的資料，能拒絕虛無假說 H 而接受對立假說 K 的最小顯著水準。

眾所熟知的，顯著水準愈小代表拒絕域愈小，因此以當前資料 x 而言，較大的顯著水準下 H 可能被拒絕，較小顯著水準下可能就不會被拒絕；反之，若在較小顯著水準下能拒絕 H，則在較大顯著水準下，H 當然也會被拒絕。通常用的顯著水準都相當小，因為顯著水準太大表示犯型Ⅰ誤的機率高，即使 H 被拒絕也不能說服人說 K 是正確的。但形式上顯著水準可以小至 0 或大至 1；若顯著水準為 0 則幾乎任何資料都不可能拒絕 H；另一方面若顯著水準為 1  則幾乎任何資料都可以拒絕 H。所以

｛α: 在顯著水管 α 之下，資料 x 落在拒絕域 C(α)｝

在多重檢定，例如變異數分析 (ANOVA) 中的多重比較，一直被關注的是族錯誤率 (FWER, family-wise error rate)，但在控制族錯誤率的同時，不免造成檢定力 (power of a test) 的低下。為此，Benjamini and Hochberg (1995) 提出了「偽發現率 (FDR, False Discovery Rate)」的概念及相應的多重檢定程序。

偽發現率，定義為

在所有被拒絕的虛無假說中，其實犯了型Ⅰ誤者所佔比例的期望值。

如果檢定問題族 Hi vs. Ki, i = 1, ..., m, 之中有 r 個虛無假說 Hi 被拒絕，但其中有 k 個 Hi 其實是成立的，則犯了型Ⅰ誤者佔拒絕之 Hi 比例是 k/r。不過，此處 k 和 r 都是隨機量，因此 FDR 以其期望值定義。

以疾病篩檢來看，假設敏感敏感度是 β，相當於假說檢定中的檢定力；特異度是 q，相當於型Ⅰ誤機率 α 的 1-補數，即 q = 1-α；犯病率是 d。則 FDR 接近

在多重比較法之中，Duncan 法和 Newman-Keuls 法可以說是 Tukey 檢定的修正；對 Bonferroni 多重檢定，其目的都是在控制族錯誤率 (FWER, family-wise error rate) 的同時，掀高個別檢定的檢定力 (power of a test)。

多重檢定問題是說：我們面臨多個假說檢定問題 Hi 對 Ki，如果逐一做普通固定顯著水準的假說檢定，基於顯著水準的設置就是容許我們犯型Ⅰ誤的機會，在做這麼多檢定的過程，我們至少犯了一次型Ⅰ誤的機率是很大的。例如假設每個 Hi 對 Ki 的檢定都容許 α = 0.05 的型Ⅰ誤機率，如果做了 10 個檢定，假設這 10 個虛無假說其實都不應該被拒絕，但實際上至少一個虛無假說 Hi 會被拒絕的機率可能高達 0.5，因為

P°{reject some Hi} ≡ P{reject some Hi | all Hi are true}
        ≦ Σ_i P{Reject Hi | all Hi are true}

月中，ptt 數學板有一個討論串：

對於x_i均非負數，i=1~n , 試證：
        (x_1+x_2+...+x_n)/n ≧ √[(x_1 x_2+x_2 x_3+...+x_n x_1)/n]

這題目有一個更進一步的版本：

在統計假說檢定問題中，如果虛無假說 H° 和對立假說 H' 都是簡單假說，H° 是 θ = θ°，H' 是 θ = θ'，Neyman-Pearson 引理告訴我們：最佳檢定是選取 L(θ'; x)/L(θ°; x) 最大的部分當拒絕域。具體做法就是選擇一個臨界值 c 當資料 x 落在 C = {x:  L(θ'; x)/L(θ°; x) > c} 時就拒絕 H°: θ = θ° 而接受 H': θ = θ'。臨界值 c 的值決定了這個檢定犯型Ⅰ誤機率 P_{θ°}{C} 的大小。但因為檢定力P_{θ'}{C} 的大小和 P_{θ°}{C} 的大小是同向的，因為是同一個事件「拒絕 H°」的機率，只是用於計算機率的機率分布不同。所以，為了極大化檢定力，c 的選擇是使型Ⅰ誤機率在不超過顯著水準的要求下儘量放大，在可能情況使二者相等。如果對立假說是複合假說，即包含不只一組參數值，理想情況是上述 NP 檢定對於對立假說中的任一組參數值都相同，即所謂「一致最強力檢定」；或是在某些合理限制下，如限制不偏檢定，或在某種變換群之下不變的焮定，希望其中可找酊一致最強力的檢定。當虛無假說也是複合假說時，除了在虛無假說的每一點，即每一組參數值，其型Ⅰ誤機率一致被要求不超過顯著水準之外，基本上沒什麼不同，一切都是從 NP 引理始。

然而，即使加上不偏、不變的限制，其中也不一定有一致最強力檢定。例如，以統計資料分布族中的乖乖牌，指數族來說，假設最簡單的，獨立雙變量資料，其機率密度

f(x; y; θ, η) = C(θ)e^{θ T(x)} K(η) e^{η U(y)}

則 H°: θ = a, η = b 對 H': θ ≠ a, or η ≠ b 這檢定並不存在一致最強力不偏檢定。甚至，若欲檢定的假說是

H°: θ ≦ a, η ≦ b 對 H': θ ＞ a, or η ＞ b

統計上一個廣為人知的不等式；柴必雪夫 (Chebyshev) 不等式，說：遠離數值資料中心（平均值） k 倍標準差之外的資料，占總資料數不超過 1/k^2；以機率來表示，

P[|X-E[X]| > a] ≦ E[(X-E[X])^2]/a^2

式中 a = k √ E[(X-E[X])^2] 則右邊是 1/k^2。此不等式暗指：以平均數代表一個資料分布的中心是有道理的，因為離此中心太遠的資料「並不多」。

此不等式若論及創始者，應稱 Bienaymé–Chebyshev 不等式，因為最早提出並給予證明的是 Pafnuty Chebyshev 的朋友兼同事  Irénée-Jules Bienaymé，後者在 1853 年首先給了證明；1867 年Chebyshev 才發表了他的證明；1884 其學生 Andrey Markov 給予另一個證明。不過，事實上，Johann Carl Friedrich Gauss 早在 1821 就提出一個單峰連續型分布的雙尾機率不等式

P[|X-m| > a] ≦  (4/9)τ^2/a^2,    當  a > 2τ/√3;