統(tǒng)計(jì)學(xué)習(xí)方法有哪些

統(tǒng)計(jì)學(xué)習(xí)方法有哪些

　　統(tǒng)計(jì)學(xué)習(xí)方法的三要素，包括假設(shè)空間、模型的選擇準(zhǔn)則以及模型學(xué)習(xí)的算法，簡稱為模型、策略和算法。具體請看下文，下面是學(xué)習(xí)啦小編分享給大家的統(tǒng)計(jì)學(xué)習(xí)方法的資料，希望大家喜歡!

　　統(tǒng)計(jì)學(xué)習(xí)方法一

　　1.極大似然原理：

　　例子1：原理是這樣的，一個(gè)師傅和一個(gè)徒弟去打獵，如果第一個(gè)獵物被打到了，不知道是誰打的，就猜是師傅打的，這就是極大似然。

　　例子2：假設(shè)一件事有100種可能性，在一次試驗(yàn)中其中一種可能性發(fā)生了，所以給人一種感覺這種可能性是最容易發(fā)生的，極大似然的想法就是使這種可能性達(dá)到最大

　　統(tǒng)計(jì)學(xué)習(xí)方法二

　　2.實(shí)際應(yīng)用中極大似然估計(jì)分布的參數(shù)：

　　根據(jù)n個(gè)樣本，估計(jì)整體分布的參數(shù)，比如我們知道總體是服從正態(tài)分布，但是不知道具體參數(shù)theta和u。其基本思想是這樣的：選擇一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大的概率，已知某個(gè)參數(shù)能使這個(gè)樣本出現(xiàn)的概率最大，我們當(dāng)然不會(huì)再去選擇其他小概率的樣本，所以干脆就把這個(gè)參數(shù)作為估計(jì)的真實(shí)值。

　　Em算法和最大似然估計(jì)的關(guān)系：

　　EM算法是求最大似然估計(jì)的一種方法，但是當(dāng)含有隱變量時(shí)候不方便通過似然函數(shù)求導(dǎo)，來求參數(shù)，所以就分了e步和m步來求，這樣方便

　　P15頁上面的“S折交叉驗(yàn)證”和“留一交叉驗(yàn)證”有什么區(qū)別嗎?

　　它們都是在數(shù)據(jù)集不夠的條件下使用的一種方，舉個(gè)例子吧s折交叉驗(yàn)證，外層一個(gè)大循環(huán)(比如你可以讓它循環(huán)10次)，其中每一次都將數(shù)據(jù)集劃分為訓(xùn)練集和測試集，這兩大塊的數(shù)據(jù)集大小的比例沒做限定，然后用訓(xùn)練集訓(xùn)練模型，測試集經(jīng)驗(yàn)風(fēng)險(xiǎn)，最后循環(huán)結(jié)束，對這些風(fēng)險(xiǎn)取平均值。

　　S折是把數(shù)據(jù)分成互不相交的S份，這里有個(gè)完備的概念，S-1份作為訓(xùn)練集，剩下的一份作為測試集，注意每一份是隨機(jī)選的，但是個(gè)數(shù)相同，這S份都要遍歷一遍，最后取平均值，不是取某一份最小的值，會(huì)發(fā)現(xiàn)用交叉驗(yàn)證每運(yùn)行一次代碼，結(jié)果都不一樣，因?yàn)榻徊骝?yàn)證雖然把數(shù)據(jù)評論分成S份，但每分都是隨機(jī)選的，里面有個(gè)隨機(jī)量，留一法就是只留一條數(shù)據(jù)作為測試數(shù)據(jù)，其他都作為訓(xùn)練集，是每份為一的交叉驗(yàn)證，特殊的交叉驗(yàn)證，留一法準(zhǔn)確率高，就是運(yùn)算量大，以上都是因?yàn)?，我們?xùn)練數(shù)據(jù)太少，我們要怎家訓(xùn)練的多樣性，才這么干的

　　結(jié)構(gòu)風(fēng)險(xiǎn)等于經(jīng)驗(yàn)風(fēng)險(xiǎn)加正則化項(xiàng)。都是復(fù)雜度越小越不容易過擬合，那完全可以加很小，趨于零 相當(dāng)于不加了，只剩經(jīng)驗(yàn)風(fēng)險(xiǎn)了。那有什么意義呢?對于過擬合。

　　對于正則化懲罰我是這么理解的。和為懲罰?我們訓(xùn)練策略是要求經(jīng)驗(yàn)損失盡可能小，當(dāng)然模型復(fù)雜了，訓(xùn)練效果好了，經(jīng)驗(yàn)損失肯定會(huì)小，但是這時(shí)候可能過擬合了，一個(gè)模型能使損失盡量小，我們有模型后面加上一個(gè)懲罰項(xiàng)就是加上一個(gè)數(shù)，是他不那么容易把損失變得那么小。

　　統(tǒng)計(jì)學(xué)習(xí)方概論

　　為了更好的把機(jī)器學(xué)習(xí)、深度學(xué)習(xí)用到油藏開發(fā)中，需要學(xué)習(xí)最先進(jìn)的算法。通過這篇概論可以看到，幾乎所有的統(tǒng)計(jì)學(xué)習(xí)問題，都變成了最優(yōu)化問題。

　　統(tǒng)計(jì)學(xué)習(xí)的方法是基于數(shù)據(jù)構(gòu)建統(tǒng)計(jì)模型從而對數(shù)據(jù)進(jìn)行預(yù)測和分析。統(tǒng)計(jì)學(xué)習(xí)由監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。李航的《統(tǒng)計(jì)學(xué)習(xí)方法》主要講解監(jiān)督學(xué)習(xí)。

　　監(jiān)督學(xué)習(xí)的任務(wù)是學(xué)習(xí)一個(gè)模型，使模型能夠?qū)θ我饨o定的輸入，對其相應(yīng)的輸出做出一個(gè)好的預(yù)測。

　　統(tǒng)計(jì)學(xué)習(xí)方法的三要素，包括假設(shè)空間、模型的選擇準(zhǔn)則以及模型學(xué)習(xí)的算法，簡稱為模型、策略和算法。

　　監(jiān)督學(xué)習(xí)從訓(xùn)練數(shù)據(jù)集合中學(xué)習(xí)模型，對觀測數(shù)據(jù)進(jìn)行預(yù)測。人們根據(jù)輸入、輸出變量的不同類型，對預(yù)測任務(wù)給予不同的名稱：輸入變量與輸出變量均為連續(xù)變量的預(yù)測問題稱為回歸問題;輸出變量為有限個(gè)離散變量的預(yù)測問題稱為分類問題;輸入變量和輸出變量均為變量序列的預(yù)測問題稱為標(biāo)注問題。

　　監(jiān)督學(xué)習(xí)中，假設(shè)訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)是依聯(lián)合概率分布P(X,Y)獨(dú)立同分布產(chǎn)生的。

　　在學(xué)習(xí)過程中，學(xué)習(xí)系統(tǒng)利用給定的訓(xùn)練數(shù)據(jù)集，通過學(xué)習(xí)得到一個(gè)模型，表示條件概率分布P(Y|X)或決策函數(shù)Y=f(X)，條件概率分布或決策函數(shù)描述輸入與輸出隨機(jī)變量之間的映射關(guān)系。

　　在學(xué)習(xí)過程中，學(xué)習(xí)系統(tǒng)(也就是算法)試圖通過訓(xùn)練數(shù)據(jù)集中的樣本(xi，yi)帶來的信息學(xué)習(xí)模型。

　　方法=模型+策略+算法

　　在監(jiān)督學(xué)習(xí)中，模型就是要學(xué)習(xí)的條件概率分布或決策函數(shù)。一般，由決策函數(shù)表示的模型為非概率模型，由條件概率表示的模型為概率模型。模型的假設(shè)空間包含所有可能的條件概率分布或決策函數(shù)。

　　統(tǒng)計(jì)學(xué)習(xí)的目的在于從假設(shè)空間中選取最優(yōu)模型。損失函數(shù)度量模型一次預(yù)測的好壞，風(fēng)險(xiǎn)函數(shù)度量平均意義下模型預(yù)測的好壞。

　　期望風(fēng)險(xiǎn)是模型關(guān)于聯(lián)合分布的期望損失，經(jīng)驗(yàn)風(fēng)險(xiǎn)是模型關(guān)于訓(xùn)練樣本集的平均損失。根據(jù)大數(shù)定律，等樣本容量趨于無窮時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)區(qū)域期望風(fēng)險(xiǎn)。

　　經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的策略認(rèn)為，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的模型是模型最優(yōu)的模型。根據(jù)這一策略，按照經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化求最優(yōu)模型就是求解最優(yōu)化問題。

　　當(dāng)樣本容量足夠大時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化能保證很好的學(xué)習(xí)效果，在現(xiàn)實(shí)中被廣泛使用。但是，當(dāng)樣本容量很小時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化學(xué)習(xí)的效果未必很好，會(huì)產(chǎn)生“過擬合”現(xiàn)象。

　　結(jié)構(gòu)風(fēng)險(xiǎn)最小化是為了防止過擬合而提出來的策略。結(jié)構(gòu)風(fēng)險(xiǎn)最小化等價(jià)于正則化，它是在經(jīng)驗(yàn)風(fēng)險(xiǎn)上加上表示模型復(fù)雜度的正則化項(xiàng)(regularizer)或懲罰項(xiàng)(penalty term)。模型復(fù)雜度是定義在假設(shè)空間上的泛函。結(jié)構(gòu)風(fēng)險(xiǎn)小需要經(jīng)驗(yàn)風(fēng)險(xiǎn)與模型復(fù)雜度同時(shí)小。結(jié)構(gòu)風(fēng)險(xiǎn)最小化的策略認(rèn)為結(jié)構(gòu)風(fēng)險(xiǎn)最小化的模型是最優(yōu)的模型。所以求最優(yōu)模型，就是求解最優(yōu)化問題：

　　算法是指學(xué)習(xí)模型的具體計(jì)算方法。統(tǒng)計(jì)學(xué)習(xí)問題歸結(jié)為最優(yōu)化問題，統(tǒng)計(jì)學(xué)習(xí)的算法成為求解最優(yōu)化問題的算法。如何保證找到全局最優(yōu)解，并使求解的過程非常高效，就成為一個(gè)重要問題。

　　統(tǒng)計(jì)學(xué)習(xí)可以利用已有的最優(yōu)化算法，有時(shí)也需要開發(fā)獨(dú)自的最優(yōu)化算法。

　　統(tǒng)計(jì)學(xué)習(xí)方法之間的不同，主要來自其模型、策略和算法的不同。

　　統(tǒng)計(jì)學(xué)習(xí)的目的是使學(xué)到的模型不僅對已知數(shù)據(jù)而且對未知數(shù)據(jù)都有很好的預(yù)測能力。測試誤差反應(yīng)了學(xué)習(xí)方法對未知的測試數(shù)據(jù)集的預(yù)測能力，是學(xué)習(xí)中的重要概念。通常將學(xué)習(xí)方法對未知數(shù)據(jù)的預(yù)測能力稱為泛化能力(generalizationability)。

　　監(jiān)督學(xué)習(xí)的任務(wù)就是學(xué)習(xí)一個(gè)模型，應(yīng)用這一模型，對給定的輸入預(yù)測相應(yīng)的輸出。監(jiān)督學(xué)習(xí)方法可以分為生成方法和判別方法，所學(xué)到的模型分別稱為生成模型和判別模型。

　　典型的生成模型有：樸素貝葉斯法和隱馬爾可夫模型。

　　典型的判別模型包括：k鄰近法、感知法、決策樹、邏輯斯遞歸模型、最大熵抹胸、支持向量機(jī)、提升法和條件隨機(jī)場等。

　　生成方法的特點(diǎn)：可以還原出聯(lián)合概率分布P(X,Y)，而判別方法不能;生成方法的學(xué)習(xí)收斂速度更快，當(dāng)存在隱變量時(shí)，仍可以用生成方法學(xué)習(xí)，測試判別方法不能用。

　　判別方法的特點(diǎn)：判別方法直接學(xué)習(xí)的是條件概率P(Y|X)或決策函數(shù)f(X)，直接面對預(yù)測，汪汪學(xué)習(xí)的準(zhǔn)確率更好;由于直接學(xué)習(xí)P(Y|X)或f(X)，可以對數(shù)據(jù)進(jìn)行各種程度上的抽象、定義特征并使用特征，因此可以簡化學(xué)習(xí)問題。

　　分類問題是監(jiān)督學(xué)習(xí)的一個(gè)核心問題，監(jiān)督學(xué)習(xí)從數(shù)據(jù)中學(xué)習(xí)一個(gè)分類模型或分類決策函數(shù)，稱為分類器。

　　分類問題包括學(xué)習(xí)和分類兩個(gè)過程。在學(xué)習(xí)過程中，根據(jù)已知的訓(xùn)練數(shù)據(jù)集利用有效的學(xué)習(xí)方法學(xué)習(xí)一個(gè)分類器;在分類過程中，利用學(xué)習(xí)的分類器對新的輸入實(shí)例進(jìn)行分類。

　　許多學(xué)習(xí)方法可以用于分類，包括k鄰近法，感知機(jī)，樸素貝葉斯，決策樹，決策列表，邏輯斯遞歸模型，支持向量機(jī)，提升方法，貝葉斯網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)，window等。

　　標(biāo)注(tagging)也是一個(gè)監(jiān)督學(xué)習(xí)問題，可以認(rèn)為標(biāo)注問題是分類問題的一個(gè)推廣，標(biāo)注問題又是更復(fù)雜的結(jié)構(gòu)預(yù)測(structureprediction)問題的一個(gè)簡單型式。標(biāo)注問題類似于沉積序列問題，結(jié)構(gòu)預(yù)測類似于沉積相分布預(yù)測問題。

　　標(biāo)注問體的輸入是一個(gè)觀測序列，輸出是一個(gè)標(biāo)記序列或狀態(tài)序列。標(biāo)注問體的目標(biāo)在于學(xué)習(xí)一個(gè)模型，使它能夠預(yù)測序列給出標(biāo)記序列作為預(yù)測。注意，可能的標(biāo)記個(gè)數(shù)是有限的，但其組合所稱的標(biāo)記序列的個(gè)數(shù)是依序列的個(gè)數(shù)長度呈指數(shù)增長的。

　　標(biāo)注常用的統(tǒng)計(jì)學(xué)習(xí)方法有：隱式馬爾科夫模型、條件隨機(jī)場。

　　標(biāo)注問題在信息提取、自然語言處理等領(lǐng)域廣泛使用，是這些領(lǐng)域的基本問題。

　　回歸問題是監(jiān)督學(xué)習(xí)的另一個(gè)重要問題?；貧w用于預(yù)測輸入變量和輸出變量變量之間的關(guān)系，特別是當(dāng)輸入變量的值發(fā)生變化時(shí)，輸出變量的值也發(fā)生的變化。回歸莫i選哪個(gè)正是表示輸入變量到輸出變量之間映射的函數(shù)?；貧w問題的學(xué)習(xí)等價(jià)于函數(shù)擬合。

　　終于確認(rèn)，多點(diǎn)地質(zhì)統(tǒng)計(jì)學(xué)建模算法采用的就是機(jī)器學(xué)習(xí)的思路。