普通最小平方迴歸的方法是固定 Xi 之下，使對應觀測值 Yi 與迴歸值 Yi' 之差距平方和最小，以簡單直線迴歸 Yi' = α + β Xi 為例，就是極小化
Q(α,β) = Σ(Yi - α - β Xi)^2
因此，若 Y 對 X 迴歸是 Y' = α + β X, 則 X 對 Y 迴歸並不是 X' = (1/β)Y - α/β, 因為後者要極小化的目標函數是 Σ(Xi-Xi')^2 而前者是 Σ(Yi-Yi')^2。但如果我們要求迴歸直線 y = α + β x 其係數 α, β 的選取準則是「資料點至迴歸直線的（垂直）距離平方和最小呢?
minimize Σ(d((Xi,Yi), y = α + β x))^2
資料點 (Xi,Yi) 至迴歸直線 y = α + β x 的垂直距離是
|Yi - α - β Xi|/√(β^2+1)
因此，此法的目標是極小化
Σ(Yi - α - β Xi)^2/(β^2+1)
式中 α 的選擇與分母無關，可直接得
α = (ΣYi - β ΣXi)/n = Ybar - β Xbar
故 β 的選擇需極小化
Q(α,β) = Σ[(Yi-Ybar)-β(Xi-Xbar)]^2/(β^2+1)
令 Sxx = Σ(Xi-Xbar)^2, Syy = Σ(Yi-Ybar)^2, Sxy = Σ(Xi-Xbar)(Yi-Ybar), 則 β 之解為
β = {(Syy-Sxx)+√[(Syy-Sxx)^2+4Sxy^2]}/(2Sxy)
在僅 X, Y 兩變數，此種迴歸方法並不需區分自變數與依變數，因看的是各點到迴歸線的垂直距離，所以稱之為「垂直（距離）迴歸 (orthogonal (distance) regression)」。
Deming 考慮量測誤差模型 (measurement errormodel, errors-in-variables model)：
Yi = Yi* + εi, Xi = Xi* + δi, Yi* = α + β Xi*
但假設 γ = Var(εi)/Var(δi) = σ^2/τ^2 是已知量，而極小化
Σ[Yi-Yi*)^2/σ^2+(Xi-Xi*)^2/τ^2 = Σ[(Yi-Yi*)^2+γ(Xi-Xi*)^2]/σ^2
由於 Y, X 誤差變異比 γ 已知，雖然 σ^2 未知，但它不影響 α, β 及諸 Xi* 的選擇，可得上列最小平方式之標準方程式：
ΣYi = α n + βΣXi*
ΣXi* Yi = αΣXi* + βΣXi*2
0 = β(Yi-Yi*) + γ Xi*
解得
Xi* = Xi + β(Yi-Yi*)/(β^2+γ)
α = Ybar - β Xbar
β = {(Syy-γSxx)+√[(Syy-γSxx)^2+4γSxy^2]}/(2Sxy)
當 γ = 1 時其解同前述垂直（距離）迴歸。也就是說：如果量測誤差模型的 X 誤差和 Y 誤差變異等幅，則 Deming 迴歸等同垂直迴歸。在比較兩種量測的等效性時，無疑兩種量測假設誤差變異等幅是合理的；但有時我們要比較的兩種量測精度不同，我們的目的是看較不精確但成本較低的量測方法能否取代較精確而成本較高的量測方法，此時 γ 可能已知也可能未知；更一般的，我們採用 Deming 迴歸或垂直迴歸於一般變數間的直線關係探討，γ 不可能假設為 1 甚至很可能未知。把 Deming 迴歸或垂直迴歸的目標函數看成只是普通最小平方法的替代準則，如前面垂直迴歸看到的，即使不是量測誤差模型，考慮 Deming 或垂直迴歸也是有意義的。
垂直迴歸亦可用於複迴歸，也就是 k+1 變數，k 個 x 變數一個 y 變數，迴歸（超）平面是 k+1 維空間的 k 維超平面
y = α + β'x,
不區分自變數，依變數，只是用一個超平面來描述資料點的趨勢，可極小化
Σ(Yi-α-β'X)^2/(β'β+1)
其中 β' 是 k 維行向量 β 的轉置。同樣 α 的解是 Ybar - β'Xbar; 而目標函數以置中資料矩陣形式表示是
Q(α,β) = || Y-Xβ ||^2/(β'β+1)
要極小化上列目標函數，β 必須滿足向量方程式：
(X'Xββ'-ββ'X'X)β + (2βY'X-X'Yβ')β - (βY'Y-X'Xβ) - X'Y = 0
與單一 X 變數不同，上列 β 的三階項不能消除，二階項也不能抵消成一個二次式，一階項倒是可以寫成 (Y'YI-X'X)β。回顧單 X 變數時之解公式，分母 Sxy 在 X 為多變數時是一個向量而非純量，這意謂該公式不適用於此處。
我們考慮單 X 和 Y 的主成分分析，經計算可得第一主成分（未標準化使成分係數平方和為 1）是 W = X + βY, β 為垂直迴歸算出之迴歸係數，而 V = Y - βX 正是與 W 正交的成分。這顯示：垂直迴歸直線（置中變量） Y = βX 正是殘餘成分 V = 0。這結論很合理：第一主成分就是資料伸展最廣的方向，而第三主成分是殘餘的成分，在迴歸問題就是「殘差」，只是非一般最小平方迴歸的 y-殘差 Yi-Yi'，而是與迴歸直線垂直方向的殘差。垂直迴歸使這意義的殘差平方和最小，正如主成分法中變異量最小的成分，而反過來迴歸直線就是那殘差成分為 0 的點所連結成的。依此想法，在 k+1 變量（k 個 X 變量）的情形，X, Y 共 k+1 變量取 k 個主成分，殘餘成分 V = Y-X'β = 0 與 k 個主成分都正交，係數向量 β 即是垂直迴歸平面（以置中變數表示）的迴歸係數向量；而用非置中變數表示迴歸平面，y = α + x'β, 常數項 α 如前述，
α = Ybar - β' Xbar
留言列表
統計 (9)
{{ article.title }}