劉應興的部落格

支持向量機  (support vector machine, SVM, 或譯：支搼向量機、支援向量機)，又名支持向量網路 (support-vector network)，是一種監督式學習網路，也是一種二分法分類技術。

此法先假設待分類物件（多維度空間的點）可以用兩個平行的超平面完全隔開：

Σ_i w_i x_i  - b ≧ 1  if y = 1;   Σ_i w_i x_i - b ≦ -1  if y = -1

假設有一個數列 a(i), i = 1, ..., n, 代表一個有序的觀測資料，例如一個時間序列。假設這些資料有一些雜訊，或統計上常假設是隨機誤差：

a(i) = m(i) + e(i), i = 1, 2, ...

我們比較關心的是 m(i), 但它和 e(i) 糾纏在一起，我們怎樣得到 m(i)？迴歸模型 (regression model) 的方法就是假設 m(i) 是某種平滑函數，在極小化某種誤差函數如最小平方法

本文試圖談一談類神經網路的感知機。簡單感知機網路模型即統計的線型判別模型，是多個輸入變數，經線性組合，結果以閥值 b 為分界。統計上來說，有隨機變數 X_1, ..., X_k, 

若 w_1 X_1 + ... + w_k x_k ≧ b 則歸第一類；
若 w_1 X_1 + ... + w_k x_k < b 則歸第二類。

本文「邏輯斯網路模型」指的是「邏輯斯迴歸與類神經網路」所談的，從輸入進行加權加總，再經由 logistic 曲線轉換成 0-1 間數值傳到隱藏屠或輸出層，或從前一隱藏屠以相同機制傳至下一隱藏層或輸出層的網路架構。權量，指的是 logistic 曲線轉換前對前一層加權加總所用的權量。從統計上來說，也就是二元反應或比例之 logistic 迴歸或多重 logistic 迴歸的模型。而統計上，單層 logistic 迴歸模型是線性預測子 x'β 做一嚴格遞增函數變成反應變數 Y 的期望值，由廣義線性模型的一般理論知若群體分布屬指數族，則概似方程式的解是其自然參數的 MLE，也就是說自然參數的概似函數或對數概似函數是凹性的 (concave)，或至少在概似方程式的解那裡是凹性的（凹面向下的）。另一方面，在二元反應或比例的機率模型，自然參數就是 logit(p) = ㏑(p/(1-p))，而它是 β 的線型式，因此對參數 β 而言，其概似函數或對數概似函數，王少在概似方程式的解附近是凹性的，所以找 MLE 就是找概似方程式的解。

在單層邏輯斯網路，其實就是 logistic 迴歸模型，但 ANN 採用的目標函數是誤差平方和：

Q(W) =  (1/2) || Y - f(X W) ||^2

邏輯斯迴歸 (Logistic regression) 是一種廣義線性模型。廣義線性模型分三個部分組成：隨機成分 (random component)、連結函數 (link function)、線性預測子 (linear predictor)。邏輯斯迴歸模型的三個成分是：

隨機成分： Yi ～ Bernoulli(p_i) ;    μ_i = p_i, σ^2 = V(p_i) = p_i(1 - p_i)
連結函數： η_i = g(p_i) = ㏑(p_i/(1-p_i))