正文

和回歸功能類似的算法（和回歸功能類似的算法是什么）

發(fā)布時間：2023-04-13 10:42:16 稿源：創(chuàng)意嶺閱讀： 141

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于和回歸功能類似的算法的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準，寫出的就越詳細，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、有哪些簡單的將回歸方法運用到分類問題上的算法？
2、回歸算法有哪些
3、數(shù)據(jù)挖掘核心算法之一--回歸
4、正則化（Regularization）

和回歸功能類似的算法（和回歸功能類似的算法是什么）

一、有哪些簡單的將回歸方法運用到分類問題上的算法？

Logistics Regression是比較經(jīng)典的對二分響應(yīng)變量的建模和預(yù)測的統(tǒng)計方法。理論什么的都相對比較完善，結(jié)果也容易解釋，但一般來說回歸模型是廣義線性的。而支撐向量機則模型更復雜，是非線性的。

二、回歸算法有哪些

回歸分析是一種預(yù)測性的建模技術(shù)，它研究的是因變量（目標）和自變量（預(yù)測器）之間的關(guān)系。這種技術(shù)通常用于預(yù)測分析，時間序列模型以及發(fā)現(xiàn)變量之間的因果關(guān)系。例如，司機的魯莽駕駛與道路交通事故數(shù)量之間的關(guān)系，最好的研究方法就是回歸。

回歸分析是建模和分析數(shù)據(jù)的重要工具。在這里，我們使用曲線/線來擬合這些數(shù)據(jù)點，在這種方式下，從曲線或線到數(shù)據(jù)點的距離差異最小。

三、數(shù)據(jù)挖掘核心算法之一--回歸

數(shù)據(jù)挖掘核心算法之一--回歸

回歸，是一個廣義的概念，包含的基本概念是用一群變量預(yù)測另一個變量的方法，白話就是根據(jù)幾件事情的相關(guān)程度，用其中幾件來預(yù)測另一件事情發(fā)生的概率，最簡單的即線性二變量問題(即簡單線性)，例如下午我老婆要買個包，我沒買，那結(jié)果就是我肯定沒有晚飯吃;復雜一點就是多變量(即多元線性，這里有一點要注意的，因為我最早以前犯過這個錯誤，就是認為預(yù)測變量越多越好，做模型的時候總希望選取幾十個指標來預(yù)測，但是要知道，一方面，每增加一個變量，就相當于在這個變量上增加了誤差，變相的擴大了整體誤差，尤其當自變量選擇不當?shù)臅r候，影響更大，另一個方面，當選擇的倆個自變量本身就是高度相關(guān)而不獨立的時候，倆個指標相當于對結(jié)果造成了雙倍的影響)，還是上面那個例子，如果我丈母娘來了，那我老婆就有很大概率做飯;如果在加一個事件，如果我老丈人也來了，那我老婆肯定會做飯;為什么會有這些判斷，因為這些都是以前多次發(fā)生的，所以我可以根據(jù)這幾件事情來預(yù)測我老婆會不會做晚飯。

大數(shù)據(jù)時代的問題當然不能讓你用肉眼看出來，不然要海量計算有啥用，所以除了上面那倆種回歸，我們經(jīng)常用的還有多項式回歸，即模型的關(guān)系是n階多項式;邏輯回歸(類似方法包括決策樹)，即結(jié)果是分類變量的預(yù)測;泊松回歸，即結(jié)果變量代表了頻數(shù);非線性回歸、時間序列回歸、自回歸等等，太多了，這里主要講幾種常用的，好解釋的(所有的模型我們都要注意一個問題，就是要好解釋，不管是參數(shù)選擇還是變量選擇還是結(jié)果，因為模型建好了最終用的是業(yè)務(wù)人員，看結(jié)果的是老板，你要給他們解釋，如果你說結(jié)果就是這樣，我也不知道問什么，那升職加薪基本無望了)，例如你發(fā)現(xiàn)日照時間和某地葡萄銷量有正比關(guān)系，那你可能還要解釋為什么有正比關(guān)系，進一步統(tǒng)計發(fā)現(xiàn)日照時間和葡萄的含糖量是相關(guān)的，即日照時間長葡萄好吃，另外日照時間和產(chǎn)量有關(guān)，日照時間長，產(chǎn)量大，價格自然低，結(jié)果是又便宜又好吃的葡萄銷量肯定大。再舉一個例子，某石油產(chǎn)地的咖啡銷量增大，國際油價的就會下跌，這倆者有關(guān)系，你除了要告訴領(lǐng)導這倆者有關(guān)系，你還要去尋找為什么有關(guān)系，咖啡是提升工人精力的主要飲料，咖啡銷量變大，跟蹤發(fā)現(xiàn)工人的工作強度變大，石油運輸出口增多，油價下跌和咖啡銷量的關(guān)系就出來了(單純的例子，不要多想，參考了一個根據(jù)遙感信息獲取船舶信息來預(yù)測糧食價格的真實案例，感覺不夠典型，就換一個，實際油價是人為操控地)。

回歸利器--最小二乘法，牛逼數(shù)學家高斯用的(另一個法國數(shù)學家說自己先創(chuàng)立的，不過沒辦法，誰讓高斯出名呢)，這個方法主要就是根據(jù)樣本數(shù)據(jù)，找到樣本和預(yù)測的關(guān)系，使得預(yù)測和真實值之間的誤差和最小;和我上面舉的老婆做晚飯的例子類似，不過我那個例子在不確定的方面只說了大概率，但是到底多大概率，就是用最小二乘法把這個關(guān)系式寫出來的，這里不講最小二乘法和公式了，使用工具就可以了，基本所有的數(shù)據(jù)分析工具都提供了這個方法的函數(shù)，主要給大家講一下之前的一個誤區(qū)，最小二乘法在任何情況下都可以算出來一個等式，因為這個方法只是使誤差和最小，所以哪怕是天大的誤差，他只要是誤差和里面最小的，就是該方法的結(jié)果，寫到這里大家應(yīng)該知道我要說什么了，就算自變量和因變量完全沒有關(guān)系，該方法都會算出來一個結(jié)果，所以主要給大家講一下最小二乘法對數(shù)據(jù)集的要求：

1、正態(tài)性：對于固定的自變量，因變量呈正態(tài)性，意思是對于同一個答案，大部分原因是集中的;做回歸模型，用的就是大量的Y~X映射樣本來回歸，如果引起Y的樣本很凌亂，那就無法回歸

2、獨立性：每個樣本的Y都是相互獨立的，這個很好理解，答案和答案之間不能有聯(lián)系，就像擲硬幣一樣，如果第一次是反面，讓你預(yù)測拋兩次有反面的概率，那結(jié)果就沒必要預(yù)測了

3、線性：就是X和Y是相關(guān)的，其實世間萬物都是相關(guān)的，蝴蝶和龍卷風(還是海嘯來著)都是有關(guān)的嘛，只是直接相關(guān)還是間接相關(guān)的關(guān)系，這里的相關(guān)是指自變量和因變量直接相關(guān)

4、同方差性：因變量的方差不隨自變量的水平不同而變化。方差我在描述性統(tǒng)計量分析里面寫過，表示的數(shù)據(jù)集的變異性，所以這里的要求就是結(jié)果的變異性是不變的，舉例，腦袋軸了，想不出例子，畫個圖來說明。(我們希望每一個自變量對應(yīng)的結(jié)果都是在一個盡量小的范圍)

我們用回歸方法建模，要盡量消除上述幾點的影響，下面具體講一下簡單回歸的流程(其他的其實都類似，能把這個講清楚了，其他的也差不多)：

first，找指標，找你要預(yù)測變量的相關(guān)指標(第一步應(yīng)該是找你要預(yù)測什么變量，這個話題有點大，涉及你的業(yè)務(wù)目標，老板的目的，達到該目的最關(guān)鍵的業(yè)務(wù)指標等等，我們后續(xù)的話題在聊，這里先把方法講清楚)，找相關(guān)指標，標準做法是業(yè)務(wù)專家出一些指標，我們在測試這些指標哪些相關(guān)性高，但是我經(jīng)歷的大部分公司業(yè)務(wù)人員在建模初期是不靠譜的(真的不靠譜，沒思路，沒想法，沒意見)，所以我的做法是將該業(yè)務(wù)目的所有相關(guān)的指標都拿到(有時候上百個)，然后跑一個相關(guān)性分析，在來個主成分分析，就過濾的差不多了，然后給業(yè)務(wù)專家看，這時候他們就有思路了(先要有東西激活他們)，會給一些你想不到的指標。預(yù)測變量是最重要的，直接關(guān)系到你的結(jié)果和產(chǎn)出，所以這是一個多輪優(yōu)化的過程。

第二，找數(shù)據(jù)，這個就不多說了，要么按照時間軸找(我認為比較好的方式，大部分是有規(guī)律的)，要么按照橫切面的方式，這個就意味橫切面的不同點可能波動較大，要小心一點;同時對數(shù)據(jù)的基本處理要有，包括對極值的處理以及空值的處理。

第三，建立回歸模型，這步是最簡單的，所有的挖掘工具都提供了各種回歸方法，你的任務(wù)就是把前面準備的東西告訴計算機就可以了。

第四，檢驗和修改，我們用工具計算好的模型，都有各種假設(shè)檢驗的系數(shù)，你可以馬上看到你這個模型的好壞，同時去修改和優(yōu)化，這里主要就是涉及到一個查準率，表示預(yù)測的部分里面，真正正確的所占比例;另一個是查全率，表示了全部真正正確的例子，被預(yù)測到的概率;查準率和查全率一般情況下成反比，所以我們要找一個平衡點。

第五，解釋，使用，這個就是見證奇跡的時刻了，見證前一般有很久時間，這個時間就是你給老板或者客戶解釋的時間了，解釋為啥有這些變量，解釋為啥我們選擇這個平衡點(是因為業(yè)務(wù)力量不足還是其他的)，為啥做了這么久出的東西這么差(這個就尷尬了)等等。

回歸就先和大家聊這么多，下一輪給大家聊聊主成分分析和相關(guān)性分析的研究，然后在聊聊數(shù)據(jù)挖掘另一個利器--聚類。

四、正則化（Regularization）

在之前的學習中，我們已經(jīng)了解了線性回歸和邏輯回歸的相關(guān)問題，并且學習了兩種算法的假設(shè)函數(shù)和梯度下降的基本算法。但是，在算法的實際應(yīng)用中，并不是特征值越多，假設(shè)函數(shù)與訓練數(shù)據(jù)集擬合的越完美越好，或者說其代價函數(shù)為0（），出現(xiàn)這種情況會使得假設(shè)函數(shù)預(yù)測新的數(shù)據(jù)變得困難，稱之為過擬合（Overfitting），過擬合如下圖所示：

為了解決過擬合問題，有以下解決方案:

正則化的思想就是減少高次項的值，使得曲線平滑，因此，在線性回歸算法中的代價函數(shù)可以如下表示：

以上公式中，表示正則化參數(shù)，在算法實際運行過程中，要選擇合適的值，不能使其過大，否則可能會導致過擬合不能被消除，或者梯度下降算法不收斂。

正規(guī)方程法的正則化算法公式如下：

其中表示 x 的對角矩陣，其主對角線第一個元素為0，其余全為1.

與線性回歸算法類似，邏輯回歸算法的正則化也是通過減少高次項的值，使得決策邊界變得平滑，以避免出現(xiàn)過擬合問題，其代價函數(shù)正則化用如下公式表示：

梯度下降算法中的正則化表示如下所示：

需要注意的是：與線性回歸不同的是，此時

以上就是關(guān)于和回歸功能類似的算法相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。