大數(shù)據(jù)和人工智能論文(2)
大數(shù)據(jù)和人工智能論文
大數(shù)據(jù)和人工智能論文篇二
用人工智能讀懂大數(shù)據(jù)
關(guān)于大數(shù)據(jù)，現(xiàn)在有兩個(gè)概念，一個(gè)是數(shù)據(jù)大，另一個(gè)就是容量大。“大”確實(shí)是一個(gè)問題，隨之而來的大數(shù)據(jù)處理問題也是一個(gè)老問題。之所以說這是個(gè)老問題就在于，之前在氣象數(shù)據(jù)的處理里，有各種不同的圖象、文本，動(dòng)態(tài)情況帶來的變化也很多，導(dǎo)致我們也遇到很大的數(shù)據(jù)量。因此數(shù)據(jù)大并不是網(wǎng)絡(luò)時(shí)代才有的問題，只是現(xiàn)在更加嚴(yán)重。
網(wǎng)絡(luò)數(shù)據(jù)面臨的根本困難
網(wǎng)絡(luò)數(shù)據(jù)跟以往數(shù)據(jù)的不同在于網(wǎng)絡(luò)時(shí)代的數(shù)據(jù)雖然量很多，但是有用的不到30%、40%，好用的更不多，只有7%，經(jīng)過“清洗”的不到1%。這和我們以往的數(shù)據(jù)大不一樣， 氣象數(shù)據(jù)盡管有噪聲問題，但是從來沒有數(shù)據(jù)虛假、無用、造謠的，但是在網(wǎng)絡(luò)里就不一樣了。
此外，網(wǎng)絡(luò)數(shù)據(jù)跟用戶和社會(huì)關(guān)聯(lián)，也就是說這種數(shù)據(jù)是在社會(huì)間產(chǎn)生，在人與人之間不斷傳播，因此它所造成的影響和效果是跟以往的數(shù)據(jù)不一樣的。
以往，我們比較多的是從形式、規(guī)模這些維度來考慮大數(shù)據(jù)，在形式上它很復(fù)雜，規(guī)模上它數(shù)量很大，但網(wǎng)絡(luò)數(shù)據(jù)還將涉及更多我們之前沒有涉及的維度，如語義的維度、內(nèi)容的維度。
首先是人機(jī)交互的變化。通常我們?cè)谟糜?jì)算機(jī)的時(shí)候只是把程序輸入進(jìn)去，計(jì)算機(jī)根據(jù)程序來完成計(jì)算，然后把結(jié)果輸出給用戶，這中間計(jì)算機(jī)不需要了解用戶的意圖或數(shù)據(jù)的來源。因?yàn)樗械臄?shù)據(jù)有在計(jì)算機(jī)存在的語音和語義，但計(jì)算機(jī)并沒有理解這些內(nèi)容。到了網(wǎng)絡(luò)時(shí)代，人機(jī)界面起到非常大的變化。也就是說人們把自己的需求用文本、圖象、語音輸入到計(jì)算機(jī)里，計(jì)算機(jī)必須得通過這些了解用戶意圖，然后根據(jù)用戶意圖輸出用戶需要的信息，在此信息的內(nèi)容已經(jīng)需要計(jì)算機(jī)考慮了。
在網(wǎng)絡(luò)時(shí)代計(jì)算機(jī)必須要涉及到信息的內(nèi)容，這意味著計(jì)算機(jī)不僅需要了解用戶意圖，同時(shí)要了解用戶的興趣等，這是語義的維度。
如果要了解網(wǎng)絡(luò)計(jì)算機(jī)新的需求以及了解用戶意圖、興趣和體驗(yàn)等，我們要做到兩點(diǎn)。首先就是把沒用上的或者“不好”的數(shù)據(jù)轉(zhuǎn)變成知識(shí)，或者我們通過理解這些數(shù)據(jù)的內(nèi)容、信息的內(nèi)容，把它們變成網(wǎng)絡(luò)時(shí)代信息處理的新需求。其次，如果計(jì)算機(jī)要從文本、圖象、語音去理解用戶的意圖，那這個(gè)理解必須涉及三個(gè)層面的問題。第一個(gè)方面，計(jì)算機(jī)得了解某句話的字面意思，即自然語義;第二個(gè)方面，用戶輸入這句話的用意何在，潛意識(shí)里想要做什么;第三個(gè)方面，這句話的真實(shí)含義是什么，判斷用戶是否贊同此說法等。因此我們提供一條網(wǎng)絡(luò)信息，計(jì)算機(jī)至少需要了解這三層意思。但過去計(jì)算機(jī)信息處理里沒有此要求，這就是我們現(xiàn)在傳統(tǒng)信息面臨的最根本的挑戰(zhàn)。
用人工智能處理網(wǎng)絡(luò)數(shù)據(jù)
傳統(tǒng)的信息處理方法顯然是能不能解決上述問題的，原因在于我們所有的信息處理方法是建立在與語義無關(guān)的假設(shè)上，不管是通信理論、控制理論或者信息處理理論都是跟語義無關(guān)的，也就是說在傳統(tǒng)理論里必須把信息內(nèi)容抽掉，這就是所有信息理論建立的依據(jù)，因?yàn)椴徊扇∵@樣的方法就不能建立一般的內(nèi)容。
到了網(wǎng)絡(luò)時(shí)代傳統(tǒng)的方法遇到困難了，當(dāng)我們輸入信息X送到機(jī)器上，閱讀者或者接收者者接受信息X，中間都沒有誤差，但我們接下來從機(jī)器那里我們能不能了解到X背后的含義呢?顯然傳統(tǒng)的剝離信息內(nèi)容的處理方法解決不了這個(gè)問題。
但我們現(xiàn)在還是在采用傳統(tǒng)方法進(jìn)行網(wǎng)絡(luò)上的信息處理。具體是把X映射到詞空間，或者圖象的特征里，然后試圖找到這個(gè)特征到語義的映射。那么特征空間到語義空間是否存在一對(duì)一的映射?如果存在，如何去找?我們現(xiàn)在把圖象、文本、語音統(tǒng)稱為數(shù)據(jù)，到計(jì)算機(jī)里它們都表現(xiàn)為0和1、1和0，我們要從這些0和1、1和0里找出來具體的0和1是哪個(gè)概念，它背后是什么，并要找到這個(gè)映射?，F(xiàn)實(shí)中，我們不能準(zhǔn)確把0和1、1和0進(jìn)行準(zhǔn)確的歸類，這個(gè)一般情況映射是不存在的。也就是說從底層的數(shù)據(jù)時(shí)代詞的組合，從顏色、紋理、視頻等，我們沒法找到其文本的含義，去識(shí)別這個(gè)圖象代表什么，或者識(shí)別語音，因?yàn)榫嚯x太遠(yuǎn)。
但是有幸的是這種映射在特定數(shù)據(jù)處理之下，通過使用合理的方法這個(gè)映射是存在的，也就是說它只在特定的條件下用特定的方法才存在。我們現(xiàn)在在做的文本機(jī)器翻譯、圖象識(shí)別、語音識(shí)別都是在這個(gè)前提下實(shí)現(xiàn)的。所以我們每當(dāng)看到人家輸出各種結(jié)果時(shí)，首先想到的是在什么樣的數(shù)據(jù)庫下做出來的。我們現(xiàn)在常聽到的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)就是用這個(gè)方法進(jìn)行訓(xùn)練，再獨(dú)立開，進(jìn)而對(duì)沒有見過的數(shù)據(jù)進(jìn)行分類。
現(xiàn)在很多圖象識(shí)別做得比較好，原因在于其圖象庫的圖片以及所給的圖片是規(guī)格化的、對(duì)齊的，而且是正面人臉，保證了其相對(duì)高的識(shí)別率，這也是在特定條件下可以做得非常好的效果。而如果我們圖象沒有規(guī)格化，大小不一，不僅有正面圖象還有側(cè)面圖象，或者有一定角度的圖象，這樣識(shí)別率就會(huì)變低。
目前計(jì)算機(jī)做的人臉識(shí)別都是上面提到的必須在一定的圖片下面進(jìn)行比較，方法無論好壞，大家都必須在同樣的數(shù)據(jù)庫下做實(shí)驗(yàn)。這也是我們傳統(tǒng)的信息處理方法。
多層神經(jīng)網(wǎng)絡(luò)并非完美
人工智能試圖直接去處理語義，這也是人工智能的一個(gè)重大試探。這個(gè)試探的結(jié)果是基于語義觀察學(xué)這一假設(shè)。而人工智能認(rèn)為人腦和計(jì)算機(jī)都是物理符號(hào)系統(tǒng)，我們就有可能用計(jì)算機(jī)來模擬人腦功能。這一假說是人工智能領(lǐng)域幾個(gè)創(chuàng)始人提出來的主張，早期的人工智能也是在這個(gè)主張下開展的。
雖然這個(gè)主張也有人提出了反對(duì)意見(不能把人腦的所有的過程都看成是符號(hào)處理)，但我們確實(shí)在實(shí)踐上取得了很多進(jìn)展。這就是在計(jì)算機(jī)應(yīng)用的所謂符號(hào)模型，但是這個(gè)模型有它的局限性。
這個(gè)模型可以模擬深思熟慮的行為，還可以用來做問題的處理、診斷和決策。
當(dāng)我們把決策和診斷過程用符號(hào)系統(tǒng)處理，會(huì)有成功也有不成功的，最主要的成功就是用這套方法來做模式識(shí)別，但是在感知和語音識(shí)別方面行不通。后來便提出了多層神經(jīng)網(wǎng)絡(luò)，現(xiàn)在多層神經(jīng)網(wǎng)絡(luò)多指深度學(xué)習(xí)。也就是說我們固然可以用知識(shí)推動(dòng)的方法來解決人類深思熟慮的行為，像推理、診斷、規(guī)劃等，但是這類方法很難用到感知處理上，而感知處理用多層神經(jīng)網(wǎng)絡(luò)來做，語音、圖象的識(shí)別率比傳統(tǒng)的方法提高了兩位數(shù)的百分點(diǎn)，這是非常了不起的。
但是這個(gè)方法也不是完美的，并不能完全解決問題。概率統(tǒng)計(jì)方法存在局限性，多層神經(jīng)網(wǎng)絡(luò)也不是完美的，不能簡單地以為深度學(xué)習(xí)已經(jīng)完全可以超過人類的水平，這只是在一定的條件和環(huán)境下。
未來的大方向是把傳統(tǒng)信息處理和人工智能結(jié)合起來，傳統(tǒng)信息處理是概率統(tǒng)計(jì)的方法，是數(shù)據(jù)驅(qū)動(dòng)的方法，要解決大數(shù)據(jù)處理的問題以及語義問題，就要做到“數(shù)據(jù)驅(qū)動(dòng)+知識(shí)驅(qū)動(dòng)”。
看了“大數(shù)據(jù)和人工智能論文”的人還看了：