鼠標(biāo)鍵盤基礎(chǔ)知識(shí)科普

時(shí)間：2020-11-25 19:02:48 懷健0由分享

鼠標(biāo)鍵盤模擬工具-按鍵精靈

想必很多玩游戲的朋友都聽說過或者用過這款工具。其實(shí)，按鍵精靈能做的工作遠(yuǎn)非玩網(wǎng)游打怪這么簡單，還可以用它實(shí)現(xiàn)辦公自動(dòng)化和功能自動(dòng)化測(cè)試。我也是在工作中結(jié)識(shí)的它，當(dāng)時(shí)還挺稀奇的，這個(gè)小工具跑起來，就像有一只看不見的手幫你完成了點(diǎn)鼠標(biāo)按鍵盤的工作。而且還可以自動(dòng)記錄測(cè)試結(jié)果，并填到表格中。當(dāng)然，前提是得編寫符合要求的測(cè)試腳本，腳本編好后，還要進(jìn)行調(diào)試，直到能穩(wěn)定運(yùn)行才算大功告成了?！　〖热贿@個(gè)工具這么方便，那就學(xué)唄?！　￠_始學(xué)的時(shí)候，也是一頭霧水，從哪里開始啊?總不能東一榔頭，西一棒槌吧，那就從最基本的開始，什么是最基本的呢，我一下子就瞄上了按鍵精靈自帶的幫助文檔。感覺里面內(nèi)容很全，還有實(shí)例，多好的教材。于是，二話沒說，邊看幫助邊動(dòng)手操作，從VBS基本命令的使用，到按鍵精靈專有命令的使用，到辦公自動(dòng)化等操作，居然很快就學(xué)完了。感覺不是很滿足，就去官網(wǎng)找視頻教程看，收獲頗多?，F(xiàn)在回想起來，視頻教程講的知識(shí)點(diǎn)和技巧在實(shí)際項(xiàng)目的使用中還是很管用的。再后來，就去逛論壇，不懂就發(fā)帖子求助;為了獲取更豐富的學(xué)習(xí)資源，還專門花錢注冊(cè)了一個(gè)會(huì)員號(hào)。那段時(shí)間真是像迷上了一樣，毫不夸張地說?！　W(xué)有所用的場(chǎng)合終于到了。趕上春節(jié)，訂票是個(gè)大問題，接連幾天不論是電話還是網(wǎng)上訂票都搶不到，這可真是愁死人。公司同事說，手不夠快，要是有個(gè)機(jī)器人替我刷票多好，不會(huì)出錯(cuò)，而且能搶到票。對(duì)啊，按鍵精靈不是可以模擬鼠鍵操作嗎，不就可以做到自動(dòng)化搶票嗎。當(dāng)時(shí)腦袋一熱，就開始動(dòng)手寫腳本，修修改改的弄了幾個(gè)小時(shí)，還在火車票訂票網(wǎng)站上模擬試了下，感覺上沒什么問題了。第二天早晨8點(diǎn)起來搶票的時(shí)候，我按下了腳本的啟動(dòng)熱鍵，沒想到一分鐘不到，居然幫我搶到了一張坐票，雖然不是臥鋪，但還是挺滿足的。哈哈，現(xiàn)在看當(dāng)時(shí)做的那個(gè)搶票腳本還真是簡陋，不過不算白做。再后來，發(fā)現(xiàn)網(wǎng)上早就有搶票神器了，搶票神器雖然神奇，不過感覺上還是自己做的更有成就感。　　有了這次經(jīng)歷，對(duì)按鍵精靈的興趣更濃了。于是，QQ上也加了按鍵的群，居然有10個(gè)之多，現(xiàn)在想來當(dāng)時(shí)真是瘋狂。每天就是和群里的鍵友泡在一起，切磋按鍵的使用。也就在這個(gè)時(shí)候，我接到了其他部門領(lǐng)導(dǎo)的一個(gè)電話，約我談?wù)劇Ｎ耶?dāng)時(shí)還不明白怎么回事，后來才知道，原來是這個(gè)部門效益好，項(xiàng)目多，亟需要人，問我會(huì)不會(huì)功能自動(dòng)化，我說會(huì)啊，QTP，WebLoad，Selenium，什么的曾經(jīng)都用過，當(dāng)然也少不了提按鍵精靈。然后，大概都介紹了下。領(lǐng)導(dǎo)考慮到版權(quán)和熟練程度的問題，問我按鍵精靈是不是可以做，我想這不撞倒槍口上了嗎，于是毫不猶豫地說可以做。再后來，我就順利的進(jìn)入到了這個(gè)部門，當(dāng)然我的工作也是和功能自動(dòng)化有關(guān)的工作?！　?shí)際做起來發(fā)現(xiàn)問題真的很多，前前后后用了兩個(gè)多月的時(shí)間，不過總算做成了?，F(xiàn)在回想起來，很多時(shí)間都花在異常處理上了。另外由于要兼容不同的瀏覽器和操作系統(tǒng)，因此這部分內(nèi)容自然也是腳本編寫時(shí)要考慮的因素。幸虧之前有了積累，要不然很多問題解決起來真是棘手，不僅要熟悉瀏覽器和操作系統(tǒng)的響應(yīng)方式，還要熟悉VBS，業(yè)務(wù)流程，以及腳本編寫的技巧等等。還好，這次經(jīng)歷讓我對(duì)這個(gè)工具的掌握更深入了一層?！　‰m然按鍵精靈有這樣那樣的問題，有時(shí)候也會(huì)受不了折騰而崩潰，但還是值得推薦使用的，因?yàn)樗梢院芊奖愕慕鉀Q工作或者生活中的難題。相比價(jià)格昂貴的QTP而言，按鍵精靈是免費(fèi)的，而且是輕量級(jí)的，就個(gè)人使用經(jīng)驗(yàn)而言，在同類產(chǎn)品中按鍵算是一款優(yōu)秀的鼠鍵模擬工具了。

什么是多模態(tài)交互?——比鍵盤鼠標(biāo)輔助更直觀更自然

視覺和聽覺

先來看一下多模態(tài)里的視覺和聽覺，視覺和聽覺獲取的信息比例總和為94%，而且是當(dāng)前流行的GUI(GraphicalUser Interface，圖形用戶界面)和VUI(Voice User Interface，語音用戶界面)使用的兩個(gè)通道。

1)維度

如果問視覺和聽覺最本質(zhì)的區(qū)別是什么，我認(rèn)為是傳遞信息的維度不同。眼睛接收的信息由時(shí)間和空間四個(gè)維度決定;耳朵接收的信息只能由時(shí)間維度決定(雖然耳朵能覺察聲音的方向和頻率，但不是決定性因素)。眼睛可以來回觀察空間獲取信息;耳朵只能單向獲取信息，在沒有其他功能的幫助下如果想重聽前幾秒的信息是不可能的。

時(shí)間維度決定了接收信息的多少，它是單向的、線性的以及不能停止的。耳朵在很短時(shí)間內(nèi)接收的信息是非常有限的，舉一個(gè)極端的例子：假設(shè)人可以停止時(shí)間，在靜止的時(shí)間內(nèi)聲音是無法傳播的，這時(shí)候是不存在信息的。還有一個(gè)說法是在靜止的時(shí)間內(nèi)，聲音會(huì)保持在一個(gè)當(dāng)前狀態(tài)例如“滴”，這時(shí)候聲音對(duì)人類來說就是一種噪音。

耳朵接收的信息只能由時(shí)間決定，眼睛卻很不一樣，即使在很短的時(shí)間內(nèi)，眼睛也可以從空間獲取大量信息。空間的信息由兩個(gè)因素決定：①動(dòng)態(tài)還是靜態(tài);②三維空間還是二維平面。在沒有其他參照物的對(duì)比下，事物的靜止不動(dòng)可以模擬時(shí)間上的靜止，這時(shí)候人是可以在靜止的事物上獲取信息的。時(shí)間和空間的結(jié)合可使信息大大豐富，正如花一分鐘看周圍的動(dòng)態(tài)事物遠(yuǎn)比一年看同一個(gè)靜態(tài)頁面獲取的信息要多。

2)接收信息量的對(duì)比

視覺接收的信息量遠(yuǎn)比聽覺高。在知乎上有神經(jīng)科學(xué)和腦科學(xué)話題的優(yōu)秀回答者指出，大腦每秒通過眼睛接收的信息上限為100Mbps，通過耳蝸接收的信息上限為1Mbps。簡單點(diǎn)說，視覺接收的信息量可以達(dá)到聽覺接收信息的100倍。

雖然以上結(jié)論沒有官方證實(shí)，但我們可以用簡單的方法進(jìn)行對(duì)比。在理解范圍內(nèi)，人閱讀文字的速度可以達(dá)到500~1000字每分鐘，說話時(shí)語速可以達(dá)到200~300字每分鐘，所以視覺閱讀的信息可以達(dá)到聽覺的2~5倍。而當(dāng)超出理解范圍時(shí)需要花時(shí)間思考，這導(dǎo)致了接收信息量驟降。

如果將圖像作為信息載體，視覺閱讀圖片里的信息遠(yuǎn)超聽覺的5倍。眼睛還有一個(gè)特別之處，通過掃視的方式一秒內(nèi)可以看到三個(gè)不同的地方。

觸覺

雖然觸覺接收的信息量少于視覺和聽覺，但它遠(yuǎn)比視覺、聽覺復(fù)雜。觸覺是指分布于人們皮膚上的感受器在外界的溫度、濕度、壓力、振動(dòng)等刺激下，所引起的冷熱、潤燥、軟硬、動(dòng)作等反應(yīng)。我們通過觸摸感受各種物體，并將觸摸到的各種數(shù)據(jù)記入大腦，例如在黑暗情況下我們可以通過觸摸判斷物體大概是什么。如果我們結(jié)合視覺看到一個(gè)球形物體，但觸摸它時(shí)感覺到了棱角，這時(shí)會(huì)和我們的記憶產(chǎn)生沖突。

在虛擬現(xiàn)實(shí)中，五個(gè)感官的同時(shí)協(xié)調(diào)是技術(shù)的終極目標(biāo)。如果沒有觸覺，那就少了實(shí)在和自然的感覺，例如在格斗游戲中無論是敵人被擊中或者是自己被擊中都沒有反應(yīng)回饋，導(dǎo)致游戲體驗(yàn)缺乏真實(shí)感。虛擬現(xiàn)實(shí)控制系統(tǒng)應(yīng)該盡可能自然地模擬我們與周邊環(huán)境的交互。同理，未來的人機(jī)交互更多發(fā)生在物理空間里，人類想要真實(shí)地感受實(shí)體，增強(qiáng)現(xiàn)實(shí)技術(shù)需要把虛擬的數(shù)字信息轉(zhuǎn)化為觸感，因?yàn)橛|感才是我們?cè)谡鎸?shí)環(huán)境下感受實(shí)體的唯一途徑。

在現(xiàn)實(shí)世界中，科技公司希望借助形變和震動(dòng)來模擬各種材質(zhì)的觸感，即虛擬觸覺技術(shù)。之前，在眾籌網(wǎng)站Kickstarter上就出現(xiàn)過一種虛擬現(xiàn)實(shí)手套——Gloveone。這種手套中加入了很多小電動(dòng)機(jī)，通過不同頻率和強(qiáng)度的振動(dòng)來配合視覺效果。類似的還有一款叫作HandsOmni的手套，由萊斯大學(xué)(Rice University)研發(fā)，手套里的小氣囊通過充氣和放氣來模擬觸覺，相比于電動(dòng)機(jī)來說，它的效果更好，但仍處于研發(fā)的早期階段。

嗅覺

在《超普通心理學(xué)》一書中提到：嗅覺是五感中傳遞唯一不經(jīng)過丘腦(thalamus)的，而是直接將刺激傳到大腦中許多與情感、本能反應(yīng)相關(guān)的腺體，例如杏仁核(管理各種情緒如憤怒與恐懼、欲望與饑餓感等)、海馬體(管理長期記憶、空間感受等)、下丘腦(管理性欲和沖動(dòng)、生長激素與荷爾蒙的分泌、腎上腺素的分泌等)、腦下垂體(管理各種內(nèi)分泌激素，也是大腦的總司令)，因此嗅覺是最直接而且能喚起人類本能行為和情緒記憶的感官。

盡管如此，但目前聚焦嗅覺解決方案的初創(chuàng)公司相對(duì)較少，2015年在Kickstarter上發(fā)起眾籌的FeelReal公司就是其中一家。FeelReal公司推出了由頭戴式顯示器以及口罩組成的NirvanaHelmet和VR Mask，它們能給你更豐富的感官刺激，例如可以通過氣味、水霧、震動(dòng)、風(fēng)、模擬熱等給使用者帶來全新的五官感受。目前為止，F(xiàn)eelReal 團(tuán)隊(duì)已經(jīng)預(yù)先制作了數(shù)十種在電影、游戲里高頻率出現(xiàn)的氣味，同時(shí)在設(shè)備中開發(fā)了一個(gè)可以同時(shí)放置7種不同氣味發(fā)生器的墨盒，墨盒設(shè)置在口罩內(nèi)?？上У氖?，F(xiàn)eelReal在Kickstarter上眾籌失敗，產(chǎn)品在官網(wǎng)上仍然顯示著“預(yù)訂中”。

在杭州有一家叫“氣味王國”的公司專注于數(shù)字嗅覺技術(shù)研發(fā)。目前氣味王國通過解碼、編碼、傳輸、釋放等技術(shù)流程，將被還原物質(zhì)的氣味突破時(shí)間與空間的阻隔，按照程序設(shè)定用解碼器識(shí)別指令進(jìn)行即時(shí)的氣味傳輸。據(jù)介紹，氣味王國已經(jīng)收錄了十萬種氣味，并解碼了上千種氣味，包括日常生活中可接觸到的食物、花草、汽油等平常氣味，和遠(yuǎn)離生活的受限地理環(huán)境中的奇特氣味。解碼完成的上千種氣味被裝置在“氣味盒子”中，在合適的場(chǎng)景下，“氣味盒子”通過微機(jī)電結(jié)構(gòu)控制氣味的比例、組合效果、時(shí)間節(jié)點(diǎn)等，實(shí)現(xiàn)契合式的氣味釋放。

分析完人類如何接收信息以及背后的支持技術(shù)后，接下來再分析一下人類如何通過聲音和肢體語言、信息載體傳達(dá)信息，以及現(xiàn)在的支持技術(shù)發(fā)展到什么階段。

通過聲音傳達(dá)信息

隨著人工智能的發(fā)展，語音識(shí)別技術(shù)已得到快速發(fā)展，在第1章已經(jīng)詳細(xì)介紹過語音識(shí)別技術(shù)，所以在此不再展開介紹。人在表達(dá)自己的意圖時(shí)主要由語言、口音、語法、詞匯、語調(diào)和語速等決定，而在不同場(chǎng)景下用戶的語氣也會(huì)隨著情緒而變化，導(dǎo)致相同的語句可能會(huì)有不一樣的意圖。

智能情緒識(shí)別是具備語音交互能力的設(shè)備根據(jù)用戶響應(yīng)做出反應(yīng)并進(jìn)行有意義對(duì)話的關(guān)鍵。早在2012年，以色列的初創(chuàng)企業(yè)Beyond Verbal就發(fā)明了一系列語音情緒識(shí)別算法，可以根據(jù)說話方式和音域的變化，分析出憤怒、焦慮、幸福或滿足等情緒，心情、態(tài)度的細(xì)微差別也能被精準(zhǔn)檢測(cè)。至今為止，該算法可以分析出11個(gè)類別的400種復(fù)雜情緒。近年來亞馬遜的Ale__a團(tuán)隊(duì)和蘋果的Siri團(tuán)隊(duì)也在著力研究語音情緒識(shí)別，蘋果的最新HomePod廣告片WelcomeHome用了類似的方案來表達(dá)Siri的智能推薦：辛苦了一天的女主角，疲憊不堪地回到家中，讓Siri用 HomePod播放音樂。緊接著神奇的事情發(fā)生了：音樂響起，女主擁有了魔力，她可以打開另一個(gè)空間，頓時(shí)疲勞的感覺一掃而光，盡情漫舞。廣告充分展示了HomePod在轉(zhuǎn)換情緒上的“開關(guān)”作用，得到國外廣告圈的一致好評(píng)。

機(jī)器除了需要理解用戶想表達(dá)什么，還需要識(shí)別是哪個(gè)用戶在說話，這時(shí)候生物識(shí)別領(lǐng)域下的“聲紋識(shí)別”就能起到關(guān)鍵作用，該技術(shù)通過語音波形中反映說話人生理和行為特征的語音參數(shù)，進(jìn)而分辨出說話人的身份。蘋果、亞馬遜和Google在自家產(chǎn)品上相繼使用了聲紋識(shí)別，可以有效判斷不同用戶的聲音并給出響應(yīng)。

聲紋識(shí)別將成為語音人機(jī)交互的最佳身份認(rèn)證方式，還可以有效減少部分應(yīng)用場(chǎng)景下的操作流程。例如在下訂單環(huán)節(jié)，如果有了聲紋識(shí)別作為身份認(rèn)證方式，那么通過“幫我訂昨天晚上一樣的外賣”這一句話，就能夠完成整個(gè)訂餐及支付操作。如果沒有聲紋識(shí)別，到了支付環(huán)節(jié)可能還是需要通過智能手機(jī)上的指紋識(shí)別或人臉識(shí)別來完成認(rèn)證的步驟，使用起來非常麻煩。

同時(shí)，由于語音交互的便捷性，在智能家居設(shè)計(jì)上可能會(huì)有較大的問題。舉個(gè)例子，當(dāng)有闖入者非法入侵住宅時(shí)，如果語音控制系統(tǒng)不限制說話人的身份，每個(gè)人都有著智能監(jiān)控系統(tǒng)的權(quán)限，那么闖入者完全可以直接下命令關(guān)閉監(jiān)控系統(tǒng)，這是一件非常危險(xiǎn)的事情。聲紋識(shí)別能有效解決該問題，在不能識(shí)別出闖入者身份的前提下，當(dāng)闖入者嘗試進(jìn)行語音交互時(shí)，語音控制系統(tǒng)應(yīng)該進(jìn)行報(bào)警等一系列安防措施，有效保障居民的安全。

通過肢體語言傳達(dá)信息

人類交流時(shí)一半依賴于肢體語言，如果沒有肢體語言，交流起來將十分困難且費(fèi)力。肢體語言是一種無聲的語言，我們可以通過面部表情、眼神、肢體動(dòng)作等細(xì)節(jié)了解一個(gè)人當(dāng)前的情感、態(tài)度和性格。美國心理學(xué)家愛德華·霍爾(Edward Hall)曾在《無聲語言》一書說過：“無聲語言所顯示的意義要比有聲語言多得多，而且深刻得多，因?yàn)橛新曊Z言往往把所要表達(dá)的意思的大部分，甚至絕大部分隱藏起來?！?/p>

面部表情是表達(dá)情感的主要方式。目前大多數(shù)的研究集中在6種主要的情感上，即憤怒、悲傷、驚奇、高興、害怕和厭惡。目前網(wǎng)上已經(jīng)有很多表情識(shí)別的開源項(xiàng)目，例如Github上點(diǎn)贊數(shù)較高的FaceClassification，其基于Keras CNN模型與OpenCV進(jìn)行實(shí)時(shí)面部檢測(cè)和表情分類，使用真實(shí)數(shù)據(jù)做測(cè)試時(shí)，表情識(shí)別的準(zhǔn)確率只達(dá)到66%，但在識(shí)別大笑、驚訝等計(jì)算機(jī)理解起來差不多的表情時(shí)效果較差。在人機(jī)交互上，用戶表情識(shí)別除了可以用于理解用戶的情感反饋，還可以用于對(duì)話中發(fā)言的輪換管理，例如機(jī)器看到用戶表情瞬間變?yōu)閼嵟瓡r(shí)，需要考慮流程是否還繼續(xù)進(jìn)行。

有時(shí)候人的一個(gè)眼神就能讓對(duì)方猜到他想表達(dá)什么，所以眼睛被稱為“心靈的窗戶”。眼睛是人機(jī)交互的研究方向之一，它的注視方向、注視時(shí)長、瞳孔擴(kuò)張收縮以及眨眼頻率等等都有不一樣的解讀。2012年由四個(gè)丹麥博士生創(chuàng)立的公司The Eye Tribe開發(fā)的眼動(dòng)追蹤技術(shù)，可以通過智能手機(jī)或者平板電腦的前置攝像頭獲取圖像，利用計(jì)算機(jī)視覺算法進(jìn)行分析。軟件能定位眼睛的位置，估計(jì)你正在看屏幕的什么地方，甚至精確到非常小的圖標(biāo)。這項(xiàng)眼動(dòng)追蹤技術(shù)未來有望取代手指控制平板電腦或手機(jī)。

在人機(jī)交互上，眼動(dòng)追蹤技術(shù)將幫助計(jì)算機(jī)知道用戶在看哪里，有助于優(yōu)化整個(gè)應(yīng)用、游戲的導(dǎo)航結(jié)構(gòu)，使整個(gè)用戶界面更加簡潔明了。例如，地圖、控制面板等元素在用戶沒關(guān)注時(shí)可被隱藏，只有當(dāng)用戶眼球查看邊緣時(shí)才顯示出來，從而增加整個(gè)游戲的沉浸式體驗(yàn)。專門研究眼動(dòng)追蹤技術(shù)的公司TobiiPro副總裁OscarWerner認(rèn)為：“以眼動(dòng)追蹤為主的新一代PC交互方式，將會(huì)結(jié)合觸摸屏、鼠標(biāo)、語音控制和鍵盤等人機(jī)交互方式，進(jìn)而顯著提升計(jì)算機(jī)操作的效率和直觀性。目光比任何物理動(dòng)作都先行一步。在眼部追蹤的基礎(chǔ)上，肯定還會(huì)有更多更“聰明”的用戶交互方式誕生。”對(duì)以沉浸式體驗(yàn)為核心的VR設(shè)備而言，眼動(dòng)追蹤技術(shù)是下一代VR頭顯的關(guān)鍵所在，剛剛提到的The Eye Tribe公司也已被Facebook收購，該技術(shù)將被用于Oculus上。

肢體動(dòng)作是涉及認(rèn)知科學(xué)、心理學(xué)、神經(jīng)科學(xué)、腦科學(xué)、行為學(xué)等領(lǐng)域的跨學(xué)科研究課題，其中包含很多細(xì)節(jié)，甚至每根手指的不同位置都能傳達(dá)不同的信息，因此讓電腦讀懂人類的肢體動(dòng)作是一件棘手的事。

在肢體識(shí)別上，最出名的莫過于微軟的3D體感攝影機(jī)Kinect，它具備即時(shí)動(dòng)態(tài)捕捉、影像辨識(shí)、麥克風(fēng)輸入、語音辨識(shí)等功能。Kinect不需要使用任何控制器，它依靠相機(jī)就能捕捉三維空間中玩家的運(yùn)動(dòng)，可惜的是，微軟在2017年已經(jīng)確認(rèn)停止生產(chǎn)新的Kinect傳感器。

手勢(shì)識(shí)別有兩款很不錯(cuò)的硬件產(chǎn)品，一款是家喻戶曉的Leap Motion，它能在150°視場(chǎng)角的空間內(nèi)以0.01毫米的精度追蹤用戶的10根手指，讓你的雙手在虛擬空間里像在真實(shí)世界一樣隨意揮動(dòng)。另外一款是MYO腕帶，它通過檢測(cè)用戶運(yùn)動(dòng)時(shí)胳膊上肌肉產(chǎn)生的生物電變化，配合手臂的物理動(dòng)作監(jiān)控實(shí)現(xiàn)手勢(shì)識(shí)別。MYO所具備的靈敏度很高，例如握拳的動(dòng)作即使不用力也能被檢測(cè)到。有時(shí)候你甚至?xí)X得自己的手指還沒開始運(yùn)動(dòng)，MYO就已經(jīng)感受到了，這是因?yàn)槟愕氖种搁_始移動(dòng)之前，MYO已經(jīng)感受到大腦控制肌肉運(yùn)動(dòng)產(chǎn)生的生物電了。

卡內(nèi)基梅隆大學(xué)機(jī)器人學(xué)院(CMU RI)的副教授Yaser Sheikh帶領(lǐng)的團(tuán)隊(duì)正在研發(fā)一種可以從頭到腳讀取肢體語言的計(jì)算機(jī)系統(tǒng)，可以實(shí)時(shí)追蹤識(shí)別大規(guī)模人群的多個(gè)動(dòng)作姿勢(shì)，包括面部表情和手勢(shì)，甚至是每個(gè)人的手指動(dòng)作。2017年6月和7月，這個(gè)項(xiàng)目在Github上相繼開源了核心的面部和手部識(shí)別源代碼，名稱為OpenPose。OpenPose的開源已經(jīng)吸引了數(shù)千用戶參與完善，任何人只要不涉及商業(yè)用途，都可以用它來構(gòu)建自己的肢體跟蹤系統(tǒng)。肢體語言識(shí)別為人機(jī)交互開辟了新的方式，但整體的肢體語言理解過于復(fù)雜，計(jì)算機(jī)如何將肢體語言語義化并理解仍然是一個(gè)技術(shù)瓶頸。

通過信息載體傳達(dá)信息

除了現(xiàn)場(chǎng)溝通，人類還會(huì)通過文字、圖片、音頻、視頻這四種媒介與其他人溝通，而這四種載體承載的信息都屬于計(jì)算機(jī)難以理解的非結(jié)構(gòu)化數(shù)據(jù)。2018年百度AI開發(fā)者大會(huì)上，百度高級(jí)副總裁王海峰發(fā)布了百度大腦3.0，并表示百度大腦3.0的核心是“多模態(tài)深度語義理解”，包括數(shù)據(jù)的語義、知識(shí)的語義，以及圖像、視頻、聲音、語音等各方面的理解。視覺語義化可以讓機(jī)器從看清到看懂圖片和視頻，識(shí)別人、物體和場(chǎng)景，同時(shí)捕捉它們之間的行為和關(guān)系，通過時(shí)序化、數(shù)字化、結(jié)構(gòu)化的方式，提煉出結(jié)構(gòu)化的語義知識(shí)，最終結(jié)合領(lǐng)域和場(chǎng)景進(jìn)行智慧推理并落地到行業(yè)應(yīng)用。在人機(jī)交互上，計(jì)算機(jī)理解非結(jié)構(gòu)化數(shù)據(jù)有助于計(jì)算機(jī)理解用戶，從而優(yōu)化個(gè)性化推薦和人機(jī)交互流程，提高產(chǎn)品整體的使用效率和體驗(yàn)。

總結(jié)

總的來說，現(xiàn)在的計(jì)算機(jī)設(shè)備能較好地看清用戶的肢體動(dòng)作以及聽清用戶的語言，但是仍然不能看懂、聽懂并理解背后的語義是什么。當(dāng)交互發(fā)生在三維的物理空間中時(shí)，由于上下文會(huì)隨現(xiàn)場(chǎng)的任務(wù)以及任務(wù)背景而發(fā)生動(dòng)態(tài)變化，導(dǎo)致同樣的輸入可能會(huì)有不同的語義。在短時(shí)間內(nèi)弱人工智能無法很好地解決“語義”，而“語義”也將成為未來幾年里人機(jī)交互領(lǐng)域繞不開的話題，設(shè)計(jì)師需要學(xué)會(huì)如何在人工智能面前更好地權(quán)衡并處理“語義”。

USB鍵盤鼠標(biāo)失靈問題匯總

經(jīng)常有人提出USB鍵鼠失靈的問題，而此類問題真正的源頭到目前為止也真的沒有一個(gè)標(biāo)準(zhǔn)的解決方案，可謂是林林總總。因此對(duì)于USB鍵鼠失靈的問題，只能從所有的可能性去考慮，能做的都做到，才可以避免同樣的事情發(fā)生。筆者對(duì)于所有的USB鍵鼠失靈的可能性做一個(gè)匯總，其中有些是自己的經(jīng)歷和經(jīng)驗(yàn)，有些則是在網(wǎng)友或者論壇那里收集來的，對(duì)大家作為一個(gè)幫助和經(jīng)驗(yàn)的總結(jié)。

一、地線問題

地線是網(wǎng)吧靜電排除的基礎(chǔ)設(shè)備。很多網(wǎng)吧由于沒有安裝地線，導(dǎo)致客戶機(jī)帶有很大的靜電，會(huì)導(dǎo)致USB設(shè)備暫時(shí)性失靈，嚴(yán)重可導(dǎo)致主板、顯卡等硬件設(shè)備損壞。因此網(wǎng)吧必須要部署有效的地線。雖然有的網(wǎng)吧部署了地線，但是不一定是|“有效接地”，因此還是要找專業(yè)電工，保證地線完全生效，以便排除客戶機(jī)靜電。

二、USB鍵鼠本身產(chǎn)品問題

USB鍵鼠失靈，有的是鍵鼠產(chǎn)品本身存在問題，導(dǎo)致鍵鼠突然失靈，或者飄、頓卡等，建議多更換幾種USB鍵鼠品牌種類來測(cè)試，以便排除產(chǎn)品本身問題。

三、USB3.0驅(qū)動(dòng)問題

B75主板以后都集成USB3.0接口了，因此需要安裝USB3.0驅(qū)動(dòng)，但是有的就是USB3.0驅(qū)動(dòng)在作祟。筆者曾經(jīng)親自碰到過USB3.0驅(qū)動(dòng)導(dǎo)致的鼠標(biāo)頓卡的問題。主板是技嘉B85-HD3，安裝USB3.0驅(qū)動(dòng)后，鼠標(biāo)頓卡飛到屏幕一邊，后來卸載USB3.0驅(qū)動(dòng)后，問題解決。

四、USB3.0接口問題

鍵鼠隨機(jī)失靈的問題，可以查看是否有問題的鍵鼠在USB3.0接口上，可以更換至2.0接口查看測(cè)試。

五、USB3.0接口模式(BIOS)導(dǎo)致雙系統(tǒng)(__P+WIN7)切換系統(tǒng)后鍵鼠失靈。

卸載USB3.0驅(qū)動(dòng)可以解決此問題，但是會(huì)遇到偶有掉電的情況，USB設(shè)備突然用不了，隔幾秒又好了。__HCI一般都是默認(rèn)smart auto改成auto(自動(dòng))就OK了。不過不同的主板好像也有不同。有的B85主板在__P下鼠標(biāo)要重啟兩次電腦才可以識(shí)別，在BIOS中把__HCI MODE設(shè)置為DISABLED，問題解決。筆者碰到過技嘉主板B85M-D2V，雙系統(tǒng)時(shí)候WIN7下無法識(shí)別USB鍵鼠。在BIOS中把__HCIHand-off設(shè)為DISABLED后，問題解決。如果無法解決，請(qǐng)聯(lián)系主板廠商，一般都有針對(duì)此問題的最佳BIOS，筆者曾碰到過盈通B75主板有過此問題，調(diào)__HCI也無法解決，后來主板官方提供BIOS刷新后，問題解決。

六、主板問題

咨詢主板廠商，刷新BIOS版本到最新版本，或者找官方要一款最佳BIOS來解決USB鍵鼠的問題。

七、電源問題

質(zhì)量不好的電源，也會(huì)帶來USB鍵鼠失靈的情況，此項(xiàng)也可以作為USB鍵鼠問題排查參考之一。

八、系統(tǒng)調(diào)整優(yōu)化

1、取消USB設(shè)備節(jié)電選項(xiàng)

、將電源選項(xiàng)中的USB設(shè)置中“選擇性暫停設(shè)置”調(diào)為禁用。

、重新做系統(tǒng)，不安裝主板驅(qū)動(dòng)。(如安裝請(qǐng)禁用試下)

九、計(jì)費(fèi)導(dǎo)致USB鍵鼠失靈

1、USB鼠標(biāo)掉，不能自動(dòng)識(shí)別，必須重啟才能認(rèn)到;確定為過濾王導(dǎo)致，把收費(fèi)上的核心版降低一下版本，問題解決。

2、PS/2機(jī)器玩著玩著鍵盤就失靈了重插或者重啟才能好;檢查確定為恒信一卡通導(dǎo)致，刪除c:\Program Files\hCard\PM\Kdb.sys

十、微軟之USB相關(guān)提高性能補(bǔ)丁

微軟在知識(shí)庫文章KB2581464中說，Windows 7或者Windows Server 2008 R2系統(tǒng)用戶如果安裝了這個(gè)補(bǔ)丁，會(huì)將Usbstor.sys驅(qū)動(dòng)程序中的最大傳輸尺寸值從默認(rèn)的64KB增加到2MB，對(duì)某些USB存儲(chǔ)設(shè)備來說能夠因此帶來性能上的提升。不過微軟同時(shí)強(qiáng)調(diào)說，要想看到效果，前提之一是硬件廠商在設(shè)備驅(qū)動(dòng)中提供了一個(gè)INF設(shè)備信息文件，并在其中設(shè)置了上述參數(shù)。

十一、天氣干燥導(dǎo)致

在北方一般USB鍵鼠失靈比夏季更多更頻繁。冬季天氣寒冷，氣候干燥，穿棉毛衣服摩托產(chǎn)生的靜電過多，玩家起身或者挪動(dòng)都會(huì)產(chǎn)生靜電，導(dǎo)致USB鍵鼠瞬間失靈，此時(shí)觀察電腦右下角會(huì)有硬件識(shí)別提示，稍后會(huì)恢復(fù)正常。這也是筆者親身經(jīng)歷的一種原因。另外一種身體產(chǎn)生的靜電還可以體現(xiàn)為皮質(zhì) 的一體沙發(fā)式座椅比普通座椅產(chǎn)生的靜電率要高得多，輕則導(dǎo)致USB鍵鼠失靈，嚴(yán)重的可以導(dǎo)致電腦重啟。

十四、推薦使用PS/2標(biāo)準(zhǔn)鍵鼠

曾有不堪USB鍵鼠失靈問題困擾的網(wǎng)吧，直接更換為PS/2鍵鼠，之后則沒有再次發(fā)生此問題，可謂究極大招!

鼠標(biāo)鍵盤基礎(chǔ)知識(shí)科普相關(guān)文章：

★ 鼠標(biāo)鍵盤基礎(chǔ)知識(shí)大全有哪些

★ 電腦鼠標(biāo)知識(shí)

★ 操作系統(tǒng)基礎(chǔ)知識(shí)大全科普

★ 啟用鼠標(biāo)鍵把鍵盤當(dāng)鼠標(biāo)使用方法

★ 經(jīng)典的鼠標(biāo)鍵盤廣告詞

★ Win7鍵盤鼠標(biāo)鍵如何啟動(dòng)?簡單教程!

★ 最受歡迎的鍵盤鼠標(biāo)在這里!市場(chǎng)趨勢(shì)如何?

★ 關(guān)于鼠標(biāo)鍵盤的廣告詞

★ 怎樣不用鼠標(biāo)鍵盤也能控制ppt