kkt充分條件（充分條件怎么推）

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于kkt充分條件的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫(xiě)出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶(hù)端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶(hù)遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

• 1、支持向量機(jī)(SVM)基本原理

• 2、什么是凸二次規(guī)劃

• 3、KKT條件解多元函數(shù)極值

• 4、單純形法aik小于0怎么辦

一、支持向量機(jī)(SVM)基本原理

看了很多關(guān)于SVM的博客，但是常常只能保存書(shū)簽之后看，有時(shí)候有的博客就突然沒(méi)了，這里就作為搬運(yùn)工總結(jié)一下之后自己看吧。主要內(nèi)容來(lái)自于：

支持向量機(jī)通俗導(dǎo)論（理解SVM的三層境界）

線性回歸

給定數(shù)據(jù)集 , 其中, ,線性回歸試圖學(xué)習(xí)到一個(gè)線性模型,盡可能地輸出正確標(biāo)記.

如果我們要用線性回歸算法來(lái)解決一個(gè)分類(lèi)問(wèn)題,(對(duì)于分類(lèi),y 取值為 0 或者 1),但如果你使用的是線性回歸,那么假設(shè)函數(shù)的輸出值可能遠(yuǎn)大于 1,或者遠(yuǎn)小于 0,就算所有訓(xùn)練樣本的標(biāo)簽 y 都是 0 或 1但是如果算法得到的值遠(yuǎn)大于 1 或者遠(yuǎn)小于 0 的話,就會(huì)感覺(jué)很奇怪。所以我們?cè)诮酉聛?lái)的要研究的算法就叫做邏輯回歸算法,這個(gè)算法的性質(zhì)是:它的輸出值永遠(yuǎn)在 0 到 1 之間。

所以邏輯回歸就是一個(gè)分類(lèi)算法,這個(gè)算法的輸出值永遠(yuǎn)在 0 到 1 之間.

我們先看二分類(lèi)的LR,具體做法是:利用sigmoid 函數(shù),將每一個(gè)點(diǎn)的回歸值映射到0,1之間.sigmoid函數(shù)特性如下:

如圖所示,令 , 當(dāng) z > 0 , z 越大, sigmoid 返回值越接近1(但永遠(yuǎn)不會(huì)超過(guò)1). 反之,當(dāng)z < 0時(shí),z 越小, sigmoid 返回值越接近0(但永遠(yuǎn)不會(huì)小于0).

支持向量機(jī) ，因其英文名為support vector machine，故一般簡(jiǎn)稱(chēng)SVM，通俗來(lái)講，它是一種二類(lèi)分類(lèi)模型，其基本模型定義為 特征空間 上的間隔最大的線性分類(lèi)器，其學(xué)習(xí)策略便是間隔最大化，最終可轉(zhuǎn)化為一個(gè)凸二次規(guī)劃問(wèn)題的求解。

線性分類(lèi)器

給定一些數(shù)據(jù)點(diǎn)，它們分別屬于兩個(gè)不同的類(lèi)，現(xiàn)在要找到一個(gè)線性分類(lèi)器把這些數(shù)據(jù)分成兩類(lèi)。如果用x表示數(shù)據(jù)點(diǎn)，用y表示類(lèi)別（y可以取1或者-1，分別代表兩個(gè)不同的類(lèi)），一個(gè)線性分類(lèi)器的學(xué)習(xí)目標(biāo)便是要在n維的數(shù)據(jù)空間中找到一個(gè)超平面（hyper plane），這個(gè)超平面的方程可以表示為（ wT中的T代表轉(zhuǎn)置）：

logistic回歸目的是從特征學(xué)習(xí)出一個(gè)0/1分類(lèi)模型，而這個(gè)模型是將特性的線性組合作為自變量，由于自變量的取值范圍是負(fù)無(wú)窮到正無(wú)窮。因此，使用logistic函數(shù)（或稱(chēng)作sigmoid函數(shù)）將自變量映射到(0,1)上，映射后的值被認(rèn)為是屬于y=1的概率。

假設(shè)函數(shù):

其中x是n維特征向量，函數(shù)g就是logistic函數(shù)。

圖像為：

在超平面w x+b=0確定的情況下，|w x+b|能夠表示點(diǎn)x到距離超平面的遠(yuǎn)近，而通過(guò)觀察w x+b的符號(hào)與類(lèi)標(biāo)記y的符號(hào)是否一致可判斷分類(lèi)是否正確，所以，可以用(y (w*x+b))的正負(fù)性來(lái)判定或表示分類(lèi)的正確性。于此，我們便引出了函數(shù)間隔（functional margin）的概念。

定義函數(shù)間隔 （用表示）為

而超平面(w，b)關(guān)于T中所有樣本點(diǎn)(xi，yi)的函數(shù)間隔最小值（其中，x是特征，y是結(jié)果標(biāo)簽，i表示第i個(gè)樣本），便為超平面(w, b)關(guān)于訓(xùn)練數(shù)據(jù)集T的函數(shù)間隔：

但這樣定義的函數(shù)間隔有問(wèn)題，即如果成比例的改變w和b（如將它們改成2w和2b），則函數(shù)間隔的值f(x)卻變成了原來(lái)的2倍（雖然此時(shí)超平面沒(méi)有改變），所以只有函數(shù)間隔還遠(yuǎn)遠(yuǎn)不夠。

事實(shí)上，我們可以對(duì)法向量w加些約束條件，從而引出真正定義點(diǎn)到超平面的距離--幾何間隔（geometrical margin）的概念。

假定對(duì)于一個(gè)點(diǎn) x ，令其垂直投影到超平面上的對(duì)應(yīng)點(diǎn)為 x0 ，w 是垂直于超平面的一個(gè)向量， 為樣本x到超平面的距離，如下圖所示：

根據(jù)平面幾何知識(shí)，有

其中||w||為w的二階范數(shù)（范數(shù)是一個(gè)類(lèi)似于模的表示長(zhǎng)度的概念）， 是單位向量（一個(gè)向量除以它的模稱(chēng)之為單位向量）。

又由于x0 是超平面上的點(diǎn)，滿足 f(x0)=0，代入超平面的方程 ,可得 ，即

隨即讓此式 的兩邊同時(shí)乘以 ，再根據(jù) 和 ，即可算出 ：

為了得到 的絕對(duì)值，令 乘上對(duì)應(yīng)的類(lèi)別 y，即可得出幾何間隔（用 表示）的定義：

從上述函數(shù)間隔和幾何間隔的定義可以看出：幾何間隔就是函數(shù)間隔除以||w||，而且函數(shù)間隔y (wx+b) = y f(x)實(shí)際上就是|f(x)|，只是人為定義的一個(gè)間隔度量，而幾何間隔|f(x)|/||w||才是直觀上的點(diǎn)到超平面的距離。

對(duì)一個(gè)數(shù)據(jù)點(diǎn)進(jìn)行分類(lèi)，當(dāng)超平面離數(shù)據(jù)點(diǎn)的“間隔”越大，分類(lèi)的確信度（confidence）也越大。所以，為了使得分類(lèi)的確信度盡量高，需要讓所選擇的超平面能夠最大化這個(gè)“間隔”值。這個(gè)間隔就是下圖中的Gap的一半。

通過(guò)由前面的分析可知：函數(shù)間隔不適合用來(lái)最大化間隔值，因?yàn)樵诔矫婀潭ㄒ院?，可以等比例地縮放w的長(zhǎng)度和b的值，這樣可以使得 的值任意大，亦即函數(shù)間隔 可以在超平面保持不變的情況下被取得任意大。但幾何間隔因?yàn)槌狭? ，使得在縮放w和b的時(shí)候幾何間隔的值 是不會(huì)改變的，它只隨著超平面的變動(dòng)而變動(dòng)，因此，這是更加合適的一個(gè)間隔。換言之，這里要找的最大間隔分類(lèi)超平面中的“間隔”指的是幾何間隔。

于是最大間隔分類(lèi)器（maximum margin classifier）的目標(biāo)函數(shù)可以定義為

同時(shí)需滿足一些條件，根據(jù)間隔的定義，有

回顧下幾何間隔的定義 ，可知：如果令函數(shù)間隔 等于1（之所以令等于1，是為了方便推導(dǎo)和優(yōu)化，且這樣做對(duì)目標(biāo)函數(shù)的優(yōu)化沒(méi)有影響），則有 = 1 / ||w||且 ，從而上述目標(biāo)函數(shù)轉(zhuǎn)化成了：

相當(dāng)于在相應(yīng)的約束條件 下，最大化這個(gè)1/||w||值，而1/||w||便是幾何間隔。

據(jù)了解，

由于這個(gè)問(wèn)題的特殊結(jié)構(gòu)，還可以通過(guò)拉格朗日對(duì)偶性（Lagrange Duality）變換到對(duì)偶變量 (dual variable) 的優(yōu)化問(wèn)題，即通過(guò)求解與原問(wèn)題等價(jià)的對(duì)偶問(wèn)題（dual problem）得到原始問(wèn)題的最優(yōu)解，這就是線性可分條件下支持向量機(jī)的對(duì)偶算法，這樣做的優(yōu)點(diǎn)在于：一者對(duì)偶問(wèn)題往往更容易求解；二者可以自然的引入核函數(shù)，進(jìn)而推廣到非線性分類(lèi)問(wèn)題。

那什么是拉格朗日對(duì)偶性呢？簡(jiǎn)單來(lái)講，通過(guò)給每一個(gè)約束條件加上一個(gè)拉格朗日乘子 ,（Lagrange multiplier），定義拉格朗日函數(shù)（通過(guò)拉格朗日函數(shù)將約束條件融合到目標(biāo)函數(shù)里去，從而只用一個(gè)函數(shù)表達(dá)式便能清楚的表達(dá)出我們的問(wèn)題）

然后令：

容易驗(yàn)證，當(dāng)某個(gè)約束條件不滿足時(shí)，例如 ，那么顯然有 （只要令 即可）。而當(dāng)所有約束條件都滿足時(shí)，則最優(yōu)值為 ，亦即最初要最小化的量。

因此，在要求約束條件得到滿足的情況下最小化 ，實(shí)際上等價(jià)于直接最小化 （當(dāng)然，這里也有約束條件，就是 ≥0,i=1,…,n） ，因?yàn)槿绻s束條件沒(méi)有得到滿足， 會(huì)等于無(wú)窮大，自然不會(huì)是我們所要求的最小值。

具體寫(xiě)出來(lái)，目標(biāo)函數(shù)變成了：

這里用 表示這個(gè)問(wèn)題的最優(yōu)值，且和最初的問(wèn)題是等價(jià)的。如果直接求解，那么一上來(lái)便得面對(duì)w和b兩個(gè)參數(shù)，而 又是不等式約束，這個(gè)求解過(guò)程不好做。不妨把最小和最大的位置交換一下，變成：

交換以后的新問(wèn)題是原始問(wèn)題的對(duì)偶問(wèn)題，這個(gè)新問(wèn)題的最優(yōu)值用 來(lái)表示。而且有 ≤ ，在滿足某些條件的情況下，這兩者相等，這個(gè)時(shí)候就可以通過(guò)求解對(duì)偶問(wèn)題來(lái)間接地求解原始問(wèn)題。

換言之，之所以從minmax 的原始問(wèn)題，轉(zhuǎn)化為maxmin 的對(duì)偶問(wèn)題，一者因?yàn)? 是 的近似解，二者，轉(zhuǎn)化為對(duì)偶問(wèn)題后，更容易求解。

下面可以先求L 對(duì)w、b的極小，再求L對(duì) 的極大。

KKT條件

≤ 在滿足某些條件的情況下，兩者等價(jià)，這所謂的“滿足某些條件”就是要滿足KKT條件。

要讓兩者等價(jià)需滿足strong duality （強(qiáng)對(duì)偶），而后有學(xué)者在強(qiáng)對(duì)偶下提出了KKT條件，且KKT條件的成立要滿足constraint qualifications，而constraint qualifications之一就是Slater條件。所謂Slater 條件，即指：凸優(yōu)化問(wèn)題，如果存在一個(gè)點(diǎn)x，使得所有等式約束都成立，并且所有不等式約束都嚴(yán)格成立（即取嚴(yán)格不等號(hào)，而非等號(hào)），則滿足Slater 條件。對(duì)于此處，Slater 條件成立，所以 ≤ 可以取等號(hào)。

一般地，一個(gè)最優(yōu)化數(shù)學(xué)模型能夠表示成下列標(biāo)準(zhǔn)形式：

其中，f(x)是需要最小化的函數(shù)，h(x)是等式約束，g(x)是不等式約束，p和q分別為等式約束和不等式約束的數(shù)量。

KKT條件的意義：它是一個(gè)非線性規(guī)劃（Nonlinear Programming）問(wèn)題能有最優(yōu)化解法的必要和充分條件。

而KKT條件就是指上面最優(yōu)化數(shù)學(xué)模型的標(biāo)準(zhǔn)形式中的最小點(diǎn) x* 必須滿足下面的條件：

我們這里的問(wèn)題是滿足 KKT 條件的（首先已經(jīng)滿足Slater條件，再者f和gi也都是可微的，即L對(duì)w和b都可導(dǎo)），因此現(xiàn)在我們便轉(zhuǎn)化為求解第二個(gè)問(wèn)題。

也就是說(shuō)，原始問(wèn)題通過(guò)滿足KKT條件，已經(jīng)轉(zhuǎn)化成了對(duì)偶問(wèn)題。而求解這個(gè)對(duì)偶學(xué)習(xí)問(wèn)題，分為3個(gè)步驟：首先要讓L(w，b，a) 關(guān)于 w 和 b 最小化，然后求對(duì) 的極大，最后利用SMO算法求解對(duì)偶問(wèn)題中的拉格朗日乘子。

對(duì)偶問(wèn)題求解的3個(gè)步驟

將以上結(jié)果代入之前的L：

得到：

具體推導(dǎo)過(guò)程是比較復(fù)雜的，如下所示：

最后，得到：

“倒數(shù)第4步”推導(dǎo)到“倒數(shù)第3步”使用了線性代數(shù)的轉(zhuǎn)置運(yùn)算，由于ai和yi都是實(shí)數(shù)，因此轉(zhuǎn)置后與自身一樣。“倒數(shù)第3步”推導(dǎo)到“倒數(shù)第2步”使用了(a+b+c+…)(a+b+c+…)=aa+ab+ac+ba+bb+bc+…的乘法運(yùn)算法則。最后一步是上一步的順序調(diào)整。

從上面的最后一個(gè)式子，我們可以看出，此時(shí)的拉格朗日函數(shù)只包含了一個(gè)變量，那就是 （求出了 便能求出w，和b，由此可見(jiàn)，則核心問(wèn)題：分類(lèi)函數(shù) 也就可以輕而易舉的求出來(lái)了）。

上述式子要解決的是在參數(shù)上 求最大值W的問(wèn)題，至于 和 都是已知數(shù)。要了解這個(gè)SMO算法是如何推導(dǎo)的，請(qǐng)?zhí)较挛牡?.5節(jié)、SMO算法。

總結(jié)

讓我們?cè)賮?lái)看看上述推導(dǎo)過(guò)程中得到的一些有趣的形式。首先就是關(guān)于我們的 hyper plane ，對(duì)于一個(gè)數(shù)據(jù)點(diǎn) x 進(jìn)行分類(lèi)，實(shí)際上是通過(guò)把 x 帶入到 算出結(jié)果然后根據(jù)其正負(fù)號(hào)來(lái)進(jìn)行類(lèi)別劃分的。而前面的推導(dǎo)中我們得到:

因此分類(lèi)函數(shù)為：

這里的形式的有趣之處在于，對(duì)于新點(diǎn) x的預(yù)測(cè)，只需要計(jì)算它與訓(xùn)練數(shù)據(jù)點(diǎn)的內(nèi)積即可（表示向量?jī)?nèi)積），這一點(diǎn)至關(guān)重要，是之后使用 Kernel 進(jìn)行非線性推廣的基本前提。此外，所謂 Supporting Vector 也在這里顯示出來(lái)——事實(shí)上，所有非Supporting Vector 所對(duì)應(yīng)的系數(shù) 都是等于零的，因此對(duì)于新點(diǎn)的內(nèi)積計(jì)算實(shí)際上只要針對(duì)少量的“支持向量”而不是所有的訓(xùn)練數(shù)據(jù)即可。

為什么非支持向量對(duì)應(yīng)的 等于零呢？直觀上來(lái)理解的話，就是這些“后方”的點(diǎn)——正如我們之前分析過(guò)的一樣，對(duì)超平面是沒(méi)有影響的，由于分類(lèi)完全有超平面決定，所以這些無(wú)關(guān)的點(diǎn)并不會(huì)參與分類(lèi)問(wèn)題的計(jì)算，因而也就不會(huì)產(chǎn)生任何影響了。

回憶一下我們通過(guò) Lagrange multiplier得到的目標(biāo)函數(shù)：

注意到如果 xi 是支持向量的話，上式中紅顏色的部分是等于 0 的（因?yàn)橹С窒蛄康?functional margin 等于 1 ），而對(duì)于非支持向量來(lái)說(shuō)，functional margin 會(huì)大于 1 ，因此紅顏色部分是大于零的，而 又是非負(fù)的，為了滿足最大化， 必須等于 0 。這也就是這些非Supporting Vector 的點(diǎn)的局限性。

至此，我們便得到了一個(gè)maximum margin hyper plane classifier，這就是所謂的支持向量機(jī)（Support Vector Machine）。當(dāng)然，到目前為止，我們的 SVM 還比較弱，只能處理線性的情況，不過(guò)，在得到了對(duì)偶dual 形式之后，通過(guò) Kernel 推廣到非線性的情況就變成了一件非常容易的事情了(通過(guò)求解對(duì)偶問(wèn)題得到最優(yōu)解，這就是線性可分條件下支持向量機(jī)的對(duì)偶算法，這樣做的優(yōu)點(diǎn)在于：一者對(duì)偶問(wèn)題往往更容易求解；二者可以自然的引入核函數(shù)，進(jìn)而推廣到非線性分類(lèi)問(wèn)題”)。

事實(shí)上，大部分時(shí)候數(shù)據(jù)并不是線性可分的，這個(gè)時(shí)候滿足這樣條件的超平面就根本不存在。在上文中，我們已經(jīng)了解到了SVM處理線性可分的情況，那對(duì)于非線性的數(shù)據(jù)SVM咋處理呢？對(duì)于非線性的情況，SVM 的處理方法是選擇一個(gè)核函數(shù) κ(⋅,⋅) ，通過(guò)將數(shù)據(jù)映射到高維空間，來(lái)解決在原始空間中線性不可分的問(wèn)題。

具體來(lái)說(shuō)，在線性不可分的情況下，支持向量機(jī)首先在低維空間中完成計(jì)算，然后通過(guò)核函數(shù)將輸入空間映射到高維特征空間，最終在高維特征空間中構(gòu)造出最優(yōu)分離超平面，從而把平面上本身不好分的非線性數(shù)據(jù)分開(kāi)。如圖所示，一堆數(shù)據(jù)在二維空間無(wú)法劃分，從而映射到三維空間里劃分：

而在我們遇到核函數(shù)之前，如果用原始的方法，那么在用線性學(xué)習(xí)器學(xué)習(xí)一個(gè)非線性關(guān)系，需要選擇一個(gè)非線性特征集，并且將數(shù)據(jù)寫(xiě)成新的表達(dá)形式，這等價(jià)于應(yīng)用一個(gè)固定的非線性映射，將數(shù)據(jù)映射到特征空間，在特征空間中使用線性學(xué)習(xí)器，因此，考慮的假設(shè)集是這種類(lèi)型的函數(shù)：

這里ϕ：X->F是從輸入空間到某個(gè)特征空間的映射，這意味著建立非線性學(xué)習(xí)器分為兩步：

首先使用一個(gè)非線性映射將數(shù)據(jù)變換到一個(gè)特征空間F，

然后在特征空間使用線性學(xué)習(xí)器分類(lèi)。

而由于對(duì)偶形式就是線性學(xué)習(xí)器的一個(gè)重要性質(zhì)，這意味著假設(shè)可以表達(dá)為訓(xùn)練點(diǎn)的線性組合，因此決策規(guī)則可以用測(cè)試點(diǎn)和訓(xùn)練點(diǎn)的內(nèi)積來(lái)表示：

如果有一種方式可以在特征空間中直接計(jì)算內(nèi)積〈φ(xi · φ(x)〉，就像在原始輸入點(diǎn)的函數(shù)中一樣，就有可能將兩個(gè)步驟融合到一起建立一個(gè)非線性的學(xué)習(xí)器，這樣直接計(jì)算法的方法稱(chēng)為核函數(shù)方法：

核是一個(gè)函數(shù)K，對(duì)所有x，z，滿足 ，這里φ是從X到內(nèi)積特征空間F的映射。

來(lái)看個(gè)核函數(shù)的例子。如下圖所示的兩類(lèi)數(shù)據(jù)，分別分布為兩個(gè)圓圈的形狀，這樣的數(shù)據(jù)本身就是線性不可分的，此時(shí)咱們?cè)撊绾伟堰@兩類(lèi)數(shù)據(jù)分開(kāi)呢(下文將會(huì)有一個(gè)相應(yīng)的三維空間圖)？

事實(shí)上，上圖所述的這個(gè)數(shù)據(jù)集，是用兩個(gè)半徑不同的圓圈加上了少量的噪音生成得到的，所以，一個(gè)理想的分界應(yīng)該是一個(gè)“圓圈”而不是一條線（超平面）。如果用 和 來(lái)表示這個(gè)二維平面的兩個(gè)坐標(biāo)的話，我們知道一條二次曲線（圓圈是二次曲線的一種特殊情況）的方程可以寫(xiě)作這樣的形式：

注意上面的形式，如果我們構(gòu)造另外一個(gè)五維的空間，其中五個(gè)坐標(biāo)的值分別為 ，那么顯然，上面的方程在新的坐標(biāo)系下可以寫(xiě)作：

關(guān)于新的坐標(biāo) ，這正是一個(gè) hyper plane 的方程！也就是說(shuō)，如果我們做一個(gè)映射 ，將 按照上面的規(guī)則映射為 ，那么在新的空間中原來(lái)的數(shù)據(jù)將變成線性可分的，從而使用之前我們推導(dǎo)的線性分類(lèi)算法就可以進(jìn)行處理了。這正是 Kernel 方法處理非線性問(wèn)題的基本思想。

再進(jìn)一步描述 Kernel 的細(xì)節(jié)之前，不妨再來(lái)看看上述例子在映射過(guò)后的直觀形態(tài)。當(dāng)然，你我可能無(wú)法把 5 維空間畫(huà)出來(lái)，不過(guò)由于我這里生成數(shù)據(jù)的時(shí)候用了特殊的情形，所以這里的超平面實(shí)際的方程是這個(gè)樣子的（圓心在 軸上的一個(gè)正圓）

因此我只需要把它映射到 ，這樣一個(gè)三維空間中即可，下圖即是映射之后的結(jié)果，將坐標(biāo)軸經(jīng)過(guò)適當(dāng)?shù)男D(zhuǎn)，就可以很明顯地看出，數(shù)據(jù)是可以通過(guò)一個(gè)平面來(lái)分開(kāi)的

核函數(shù)相當(dāng)于把原來(lái)的分類(lèi)函數(shù)：

映射成：

而其中的 可以通過(guò)求解如下 dual 問(wèn)題而得到的：

這樣一來(lái)問(wèn)題就解決了嗎？似乎是的：拿到非線性數(shù)據(jù)，就找一個(gè)映射

二、什么是凸二次規(guī)劃

二次規(guī)劃（Quadratic programming），在運(yùn)籌學(xué)當(dāng)中，是一種特殊類(lèi)型的最佳化問(wèn)題。

[編輯] 簡(jiǎn)介二次規(guī)劃問(wèn)題可以以下形式來(lái)描述：

f(x) = (1 / 2)xTQx + cTx

受到一個(gè)或更多如下型式的限制條件：

Ex = d

vT 是 v 的轉(zhuǎn)置。

如果Q是半正定矩陣，那么f(x)是一個(gè)凸函數(shù)。如果有至少一個(gè)向量x滿足約束而且f(x)在可行域有下界，二次規(guī)劃問(wèn)題就有一個(gè)全局最小值x。 如果Q是正定矩陣，那么全局最小值就是唯一的。如果Q=0，二次規(guī)劃問(wèn)題就變成線性規(guī)劃問(wèn)題。

根據(jù)優(yōu)化理論，一個(gè)點(diǎn)x 成為全局最小值的必要條件是滿足 Karush-Kuhn-Tucker(KKT)條件。當(dāng)f(x)是凸函數(shù)時(shí)，KKT條件也是充分條件。

當(dāng)二次規(guī)劃問(wèn)題只有等式約束時(shí)，二次規(guī)劃可以用線性方程求解。否則的話，常用的二次規(guī)劃解法有：內(nèi)點(diǎn)法(interior point)、active set和共軛梯度法等。凸集二次規(guī)劃問(wèn)題是凸優(yōu)化問(wèn)題的一個(gè)特例。

[編輯] 對(duì)偶每個(gè)二次規(guī)劃問(wèn)題的對(duì)偶問(wèn)題也是二次規(guī)劃問(wèn)題。我們以正定矩陣Q為例：

L(x,λ) = (1 / 2)xTQx + λT(Ax − b) + cTx

對(duì)偶問(wèn)題g(λ)，可定義為

我們可用 : 得到L的極小

x * = − Q − 1(ATλ + c),

對(duì)偶函數(shù)：

g(λ) = − (1 / 2)λTAQ − 1ATλ − cTQ − 1ATλ − bTλ

對(duì)偶問(wèn)題為：

maximize : − (1 / 2)λTAQ − 1ATλ − (ctQ − 1AT + bT)λ

subject to :

計(jì)算復(fù)雜性當(dāng)Q正定時(shí)，用橢圓法可在多項(xiàng)式時(shí)間內(nèi)解二次規(guī)劃問(wèn)題。當(dāng)Q負(fù)定時(shí)，二次規(guī)劃問(wèn)題是NP困難的(NP-Hard)。即使Q 存在一個(gè)負(fù)特征值時(shí)，二次規(guī)劃問(wèn)題就是NP困難的。

三、KKT條件解多元函數(shù)極值

各個(gè)分量的偏導(dǎo)數(shù)為0,這是一個(gè)必要條件.充分條件是這個(gè)多元函數(shù)的二階偏導(dǎo)數(shù)的行列式為正定或負(fù)定的.如果這個(gè)多元函數(shù)的二階偏導(dǎo)數(shù)的行列式是半正定的則需要進(jìn)一步判斷三階行列式.如果這個(gè)多元函數(shù)的二階偏導(dǎo)數(shù)的行列式是不定的,那么這時(shí)不是極值點(diǎn).以二元函數(shù)為例,設(shè)函數(shù)z=f(x,y)在點(diǎn)（x.,y.）的某鄰域內(nèi)有連續(xù)且有一階及二階連續(xù)偏導(dǎo)數(shù),又fx(x.,y.）,fy(x.,y.）=0,令fxx(x.,y.)=A,fxy=(x.,y.）=B,fyy=(x.,y.）=C則f(x,y)在（x.,y.）處是否取得極值的條件是（1）AC-B*B>0時(shí)有極值（2）AC-B*B

四、單純形法aik小于0怎么辦

因?yàn)樽钚”戎狄?guī)則是保證變換后的解仍舊是可行解的方法，依據(jù)此規(guī)則，決定入基變量能夠取得的正的最小值，否則，入基變量取得其它正值（大于最小正值）都會(huì)導(dǎo)致出現(xiàn)負(fù)的變量值。

確定bai換入基和換出基的變量之后，把所對(duì)應(yīng)的那個(gè)數(shù)不是用【】圈上了嗎，比方說(shuō)換入基變量為x2，換出基變量為x5，假設(shè)所對(duì)應(yīng)的那個(gè)被圈上的數(shù)是5，為了進(jìn)一步形成新的單純形表，一開(kāi)始的單純形表里，5所在的那行要全乘5分之1（包括那行的b）。

使得在新的單純形表里，原來(lái)被【】上的那個(gè)數(shù)字變成1，而且要求原來(lái)單純形表里被【】圈上的數(shù)字所在的列在新的單純形表里除了被【】圈上的數(shù)字以外都必須是0，把原來(lái)的單純形表經(jīng)過(guò)回行變換，反正就是行變換的時(shí)候b也跟著一起變就對(duì)了。

線性規(guī)劃問(wèn)題是研究在線性約束條件下，求線性函數(shù)的極值問(wèn)題。線性規(guī)劃是運(yùn)籌學(xué)的一個(gè)重要分支，也是最早形成的一個(gè)分支。線性規(guī)劃的最優(yōu)性條件，又稱(chēng)為Karush-Kuhn-Tucker（KKT）條件。不等式約束問(wèn)題的必要和充分條件初見(jiàn)于卡羅需（WilliamKarush）的博士論文，之后在一份由W.庫(kù)恩（HaroldW.Kuhn）及塔克（AlbertW.Tucker）撰寫(xiě)的研討生論文出現(xiàn)后受到重視。

單純形法是年由創(chuàng)建的對(duì)所有一般線性規(guī)劃問(wèn)題的最早的可行算法。1953年，他又提出了改進(jìn)單純形法。

以上就是關(guān)于kkt充分條件相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢(xún)，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。

推薦閱讀：

kkt充分條件（充分條件怎么推）

chatGPT譯音（chattr chakkr翻譯歌詞）

kkt二階最優(yōu)條件（二階最優(yōu)化條件）

一級(jí)建造師報(bào)考條件及專(zhuān)業(yè)要求（二級(jí)建造師報(bào)考條件要求專(zhuān)業(yè)）

小紅書(shū)店鋪類(lèi)目（小紅書(shū)店鋪類(lèi)目怎么選）