6個常見的迴歸分析方法

本文介紹在多變量的數學建模中經常用到的6個迴歸分析算法。

操作方法

（01）1.線性迴歸方法：通常因變量和一個（或者多個）自變量之間擬合出來是一條直線（迴歸線），通常可以用一個普遍的公式來表示：Y（因變量）=a*X（自變量）+b+c，其中b表示截距，a表示直線的斜率，c是誤差項。如下圖所示。

（02）2.邏輯迴歸方法：通常是用來計算“一個事件成功或者失敗”的概率，此時的因變量一般是屬於二元型的（1 或0，真或假，有或無等）變量。以樣本極大似然估計值來選取參數，而不採用最小化平方和誤差來選擇參數，所以通常要用log等對數函數去擬合。如下圖。

（03）3.多項式迴歸方法：通常指自變量的指數存在超過1的項，這時候最佳擬合的結果不再是一條直線而是一條曲線。比如：拋物線擬合函數Y=a+b*X^2，如下圖所示。

（04）4.嶺迴歸方法：通常用於自變量數據具有高度相關性的擬閤中，這種迴歸方法可以在原來的偏差基礎上再增加一個偏差度來減小總體的標準偏差。如下圖是其收縮參數的最小誤差公式。

（05）5.套索迴歸方法：通常也是用來二次修正迴歸係數的大小，能夠減小參量變化程度以提高線性迴歸模型的精度。如下圖是其懲罰函數，注意這裏的懲罰函數用的是絕對值，而不是絕對值的平方。

（06）ticNet迴歸方法：是Lasso和Ridge迴歸方法的融合體，使用L1來訓練，使用L2優先作為正則化矩陣。當相關的特徵有很多個時，ElasticNet不同於Lasso，會選擇兩個。如下圖是其常用的理論公式。

如果覺得這篇幫助到您，麻煩在下面投上您寶貴的一票，謝謝！