劉應興的部落格

Regression, 回歸，這名詞在統計上使用最早大概是  Francis Galton 於 19 世紀用來描述一種生物學現象：高大祖先的後代趨向正常平均數，這種現象，也稱 regression toward the mean （回歸均值）, reversion to the mean （回轉均值）或 reversion to mediocrity （回轉平庸）。Galton 原意只是生物學現象的描述，闡述父母的極端特徹，並沒有完全傳遞給他們的後代。略過 Galton 在生物遺傳學上的錯誤解釋不論，其實回歸的現象只是一個統計或更直接地說是機率現象，也和中央極限定理有些關係。

為何說是一種統計或機率現象？像身高體重以及許多自然的及社會的現象，大都是中間高兩端低的所謂單峰型分布。在 Galton 關於父子身高的分析中，被注意到的父親身高特高的部分，可以說是偏向有較高身高基因的，但又不全是，有些基因屬較低身高的右邊極端值被歸入；又有些基因屬較高身高的左邊極端值被捨去。因此，這些身高極高的父親的基因並不純粹基因屬較高身高的。再者，即使基因屬較高身高的，其身高當是一個單峰分布。而對這些樣本，父親身高只是這個分布偏高的那一部分；子輩卻是觀察整個分布。一個分布只取較高部分，其平均值當然高於整個分布的平均值：

　　E[ X | X > c ] > E[ X ]

統計上對於群體未知參數 θ 的基本猜測就是點估計，也就是用一個點（值）去猜測 θ 點之所在（值）。那麼，有哪些方法？

一是模仿參數定義法。例如：以樣本平均數估計群體平均數，以樣本變異數估計群體變異數 ( 以 Σ(Xj-Xbar)^2/n 估計 Σ(Xi-μ)^2/N, 以 Σ(Xj-Xbar)^2/(n-1) 估計 Σ(Xi-μ)^2/(N-1).) 這種方法有另一種形態，那就是：以樣本比例估計群體比例，而後用樣本比例構建估計量以估計群體參數，例如樣本中併數估計群集中位數，樣本分位數估計群體對應的分位數。

上述模仿群體參數定義法是直接模仿參數在犀群體中的定義, 動差法估計則是先用‵樣本動差為群體動差之估計，而後利用動差與欲估訊之參數之間的關係來估計參數。

九年前的問答，內容照搬。

發問時間： 2013-01-04 23:22:08

請問二項分配.幾何分配.超幾何分配.柏松分配的差別

其實這是十年前的問答,重新整理並加上目前的理解。

問的是關於「間斷與連續隨機變數的分類」。其中「間斷」一詞更多的中譯是「離散」，英文是 "discrete". 

問者說：

二項群體比例 p 的 1-α 水準信賴區間，通常是以常態近似計算：

　　p 的常態近似區間 = [ phat - z* √[phat(1-phat)/n], phat + z*  √[phat(1-phat)/n] ]

　　加連續性校正 :   [ phat - a - z* √[phat(1-phat)/n], phat + a + z*  √[phat(1-phat)/n] ]

在學習統計學，或應用統計方法，有些名詞或概念常被誤解為機率。

在點估計，一個和機率有關卻又不是機率的概念或名詞是概似度 (likelihood) 或概似函數 (likelihood function)。純應用統計方法者可能不會有問題，但若涉及「找最大概似估計 (MLE)」就會涉及到概似函數。概似函數現在通行的定義是樣本的聯合機率密度函數 (probability density function) 或機率質量函數 (probability mass function)，這暗示群體只能是完全的連續型或完全的離散型；另外就是它通常用在參數化模型 (parametric model)，非參數化模型 (non-parametric model) 相當於無限維參數，其 MLE 不是未能唯一決定就是資料的完全配適，例如以樣本分布為群體分布之估計。所以實務上會限制參數空間（等於以比樣本數少的參數來參數化群體模型），並允許此限制隨著樣本數成長。例如將資料分經組邢估計各組的機率，這等於直方圖的方法；另外核密度估計也是一種。不過這些不是本文要談的，我們的重點是：概似函數來自機率分布，但它本身不是機率分布。

R. A. Fisher 曾試圖把概似函數解釋成參數的 fiducial distribution.  以常態群體平均數 μ 而言，它的極小充分統計量，樣本平均數 T，也是常態分布，p.d.f. 是

信賴區間又稱區間估計，顧名思義是點估計的延伸，典型形式是

　　[ 點估計值 - 向下考慮之誤差,   點估計值 + 向上考慮之誤差 ]

然而，信賴區間其實和統計假說檢定又是一體的兩面：

根據 Wikipedia, p 值計算最早可推至 18 世紀初，1710 John Arbuthnot 研究人類出生性比是否為 1 : 1，檢查了 1629-1710 共 82 年倫敦每年出生紀錄，發現女嬰數都少於男嬰數。假設男女嬰出生機會相同，發生這種現象的機率是 1/2^82, 這機率太小以致他不認為純屬偶然："From whence it follows, that it is Art, not Chance, that governs."  這被認為是顯著性檢定的首次使用。不過，p 值的正式引用是 Karl Pearson, 在他的卡方檢定 (chi-squared test) 中，應用卡方分布 (chi-squared distribution) 並以大寫字母 P 表示。W. P. Elderton 計算了卡方分布機率表並收錄在 Pearson 1914 的數值表列中。Ronald A. Fisher 計算 p = 0.99, 0.98, 0.95, 0.90, ..., 0.10, 0.05, 0.02, 0.01 所對應的卡方值，這使得卡方的計算值（觀測值）可以直接和這些臨界值比較從而知道 p 值在哪個範圍，傾向於用某些 p 值（顯著水準）為切割點而非報告 p 值。不過，在他 1935 出版的 The Design of Experiments 一書中，有名的「品茶實驗」例子中，仍明白地以 p 值完成其推論。雖然，他其實傾向於固定顯著水準的檢定決策，在其後來的版本中，明白地反對使用 p 值做結論，雖然不反對 p 值的使用。強調使用 5%, 2%, 1% 的方便性，以及檢定程序需要明確的判定。

R. A. Fisher 和 K. Pearson 都是偉大的統計學家，後者可說是早期大樣本時代的領軍人物，前者則對近代統計理論有重要影響，顯著水準 0.05 的廣泛使用據文獻看來主要是受他的影響。然而，偉大不表示不會犯錯，事實上他們都曾有些基本的錯誤被後來的學者一再討論（當然也有其忠誠信徒試圖為他們的「錯誤」做出新的解釋），因此我們不必拘泥於他們的意見。從提供給讀者的資訊量來說，固定顯著水準 α 的檢定結論不如 p 值及對應的 1-α 信賴區間，因為後兩者都可以做成水準 α 的檢定結論。至於 p 值與固定水準信賴區間，則無法比較。

從前面簡述的歷史可推知 p 值的一個定義：

統計推論之開端應是點估計：猜測統計所謂群體之未知參數的值。然而很多時候在實務應用上我們對參數的確實值，而是需要做個判斷、決定，例如︰職員是否合格？藥品是否允許上市。用統計的話來說，就是判斷要「接受」H0，或拒絕它而認為 H1 才正確。

從決策理論的觀點來說，可以衡量：H0 成立而拒絕它卻接受 H1，以及 H1 是正確的卻沒有拒絕 H0 各自將造成何種損失，然後以頻率論觀點或貝氏觀點來計算風險或期望損失，然後選擇最適決策。以貝氏分析而言，是給予 H0, H1 各自一個先驗機率，而後根據樣本資料計算後驗機率，最後根據後驗機率及決策者偏向（或事先決定的切割點）來做成決策，判定接受H0 或 H1。而傳統之統計方法則是，考慮所謂犯錯機率，並事先決定一個標準，要求犯某種錯誤的機率不超過這個標準。這就是以「顯著水準」為依據的統計假說檢定方法，顯著水準就是規範犯某種錯誤，具體地說就是犯型Ｉ（錯）誤的機率上限。所以理論上如果「在 0.05 顯著水準下 ...」就是說如果 H0 是正確的，會錯誤地做成「拒絕 H0」這決定的機會不超過 0.05, 也就是 5%。

決策理論或貝氏方法雖然透過損失的設定等仍對 H0, H1 有所偏向，但在方法上仍是對稱的，也就是並不必嚴格區分何者是 H0 何者是 H1，只單純地把它們當成參數空間的兩個互斥的部分，但所謂「傳統」或「古典」方法卻不然，何者為 H0 何者是 H1 是很重要的，特別在所謂「單尾檢定」或更正確的說法是「單邊對立假說」時，這常是很多人感到困擾的。H0 與 H1 之分所以重要，是因在固定樣本下我們只能控制犯型Ｉ誤機率不超過顯著水準，而不能控制型Ⅱ誤（機率），後者的控制是在抽樣或實驗設計之前，可根據所要的檢定力或容許犯型Ⅱ誤機率計算所需的樣本大小。所以在既定樣本之下，型Ⅱ誤機率不受控制；而另一方面型Ⅰ誤卻限制在顯著水準之下，而通常顯著水準是「極低」的，所以，H0 常被認為是「被保護的假說」。於是，當參數空間被按目的分割為兩部分之後，何者是 H0 何者為 H1 就很清楚了： H0 是「我們想推翻它，又必須保護它」的那一部分。對新藥開發上市而言，除副作用問題外，療效是一個重點，將療效分割成兩個區域，　一為「無（更好）療效」一為「有（更好）療效」，因新藥可‵能有不明的短、長期不良副作用需慎重，因此藥廠雖欲推翻「無（更好）療效」之假說，卻因潛在問題而需要保護此一假說，所以它就是 H0，相對地，「有（更好）療效」就是 H1。

數學上怎麼計算甜甜圈的體積?

甜甜圈以 S 表示，把它放在「標準位置」，也就是：
　　(x-a)^2+y^2<=b^2

大一學統計，談到點估計時最先學到的是點估計有幾個評估標準，其中首要的是「不偏性 ( unbiasedness )」，也就是基於隨機抽樣理論，參數 θ 的估計量 hat(θ) 是一個隨機變數，而我們假想從群體中重複無數次地抽出大小為 n 的樣本，計算 hat(θ)，這些 hat(θ) 形成一個分布，稱為 hat(θ) 的抽樣分布 ( sampling distribution )，它的平均數，也就是所有 hat(θ) 的平均值，希望是等於 θ。直觀上感覺這是很合理的，隱約間會覺得：對啊！若是 hat(θ) 有偏，就像打靶不瞄準紅心，那不是很奇怪？

然而，學到抽樣方法，有些抽樣設計同時談到群體平均數或總值的無偏估計法和有偏估計法；到了迴歸分析，後來認識了「脊迴歸估計 (ridge regression estimator)」,愕然發現，不一定耍堅守無偏估計這條路。到了研究所，基礎統計推論這門課給下了定論：不偏性不是所謂的「優良性質」，或者說它並不是好判準，它根本是對估計量選擇的一個嚴厲的、不好的限制。為甚麼在某些抽樣設計下有不偏估計還要找有偏估計？為甚麼在線性迴歸模型中古典或加權最小平方估計是所有線性不偏估計中最好的，卻還要找另一個有偏的線性估計——脊估計？無他，稍微犧牲一點偏誤，就某種標準如均方誤差 (mean squared error) 而言，可以得到更小的平均誤差。畢竟，不偏只是理論上的，是無限多次重複抽樣的平均結果，但我們手上只有一個樣本，要看理論上無限次抽樣的平均結果，為甚麼不直接看 MSE 或其他誤差衡量準則，而要先用「不偏性」這個條框把自己限制住？因為不偏估計量相對於所有估計量實在太少了，有時候甚至找不到，有時候還是唯一一個。不是嗎？如果群體是屬於指數族分布（非指數分布族，如常態、二項分布、Poisson 分布等許多都屬於指數族。當然，僅含 scale parameter 的指數分布也在其中，但有 location parameter 的指數分布則不在內。） 則基於最小充分統計量的不偏估計是唯一的，而且有不偏估計的參數僅是其自然參數的某種特定型的函數。而根據充分性原則 ( sufficiency principle )，對於參數的推論要完全依賴概似度，歸結到底就是要完全依賴充分統計量，如果最小（最簡）充分統計量存在的話，對參數的點估計顯然就落到「（最小）充分統計量的函數」這個範圍。有無數充分統計量的函數可當參數的合理估計，但不偏估計只有一個，這限制太大了！

在假說檢定，也有「不偏檢定」，簡單地說就是檢定力 ( power of test ) 不小‵於最大型Ｉ誤機率 ( probability of type I error, 通常在連續型就等於顯著水準 )。所謂檢定力和型Ｉ誤機率都是拒絕虛無假說 ( null hypothesis ) 的機率，只是看真實參數值落在對立假說區或虛無假說區而有不同的說法。從統計決策理論的觀點，不偏估計和不偏檢定其實都只是所謂「風險不偏 ( risk unbiased )」的特例。風險不偏的要求是

人以類聚，物以群分。初到這裡，首先面對的是選擇興趣星球。可是遍覽各星球，卻沒有一個是真正談得上興趣所在，沒有一個符合我來此的目的。等建了部落格，又發現無法歸入任何一個類別，似乎這世界就沒有我生存的空間，或者說來此只是竊佔一個位置，其實並不受歡迎。最後，部落格只好不歸屬任何一個類別。

接著，入境問俗，似乎該找一個邦邦加入，或自創一個邦邦。幾次翻查，又發現：找不到一個合適的，可以加入討論的邦邦，更沒有一個類別適合建立自己的邦邦。而這園地，也不存在一個包山包海的「其他」或不歸類的邦邦群。再一次地有「天下雖大卻無我容身之處」的感覺。

有部落格不能不發文，但卻幾乎無動力，因為明顯和這裡的風格不搭配，也缺乏寫出能吸引人閱讀或討論的文章才能。寫出來的，在站內都無法適當歸類。每篇貼出的文，標記的分類，概都勉強擦邊而已。