全文檢索有哪些技術(shù)原理和過程
全文索引用于處理大文本集合，利用它人們可以在海量文本中快速獲取需要的信息。下面是學(xué)習(xí)啦小編整理的全文索引的內(nèi)容，歡迎閱讀。
全文索引的介紹
全文索引技術(shù)是目前搜索引擎的關(guān)鍵技術(shù)。
試想在1M大小的文件中搜索一個詞，可能需要幾秒，在100M的文件中可能需要幾十秒，如果在更大的文件中搜索那么就需要更大的系統(tǒng)開銷，這樣的開銷是不現(xiàn)實的。
所以在這樣的矛盾下出現(xiàn)了全文索引技術(shù)，有時候有人叫倒排文檔技術(shù)。
全文檢索技術(shù)原理
原理是先定義一個詞庫，然后在文章中查找每個詞條(term)出現(xiàn)的頻率和位置，把這樣的頻率和位置信息按照詞庫的順序歸納，這樣就相當(dāng)于對文件建立了一個以詞庫為目錄的索引，這樣查找某個詞的時候就能很快的定位到該詞出現(xiàn)的位置。
問題在處理英文文檔的時候顯然這樣的方式是非常好的，因為英文自然的被空格分成若干詞，只要我們有足夠大的詞匯庫就能很好的處理。但是亞洲文字因為沒有空格作為斷詞標(biāo)志，所以就很難判斷一個詞，而且人們使用的詞匯在不斷的變化，而維護一個可擴展的詞匯庫的成本是很高的，所以問題出現(xiàn)了。
解決出現(xiàn)這樣的問題使“分詞”成為全文索引的關(guān)鍵技術(shù)。目前有兩種基本的方法：
二元法 它把所有有可能的每兩兩漢字的組合看為一個詞組，這樣就沒有維護詞庫的開銷。
詞庫法 它使使用詞庫中的詞作為切分的標(biāo)準，這樣也出現(xiàn)了詞庫跟不上詞匯發(fā)展的問題，除非你維護詞庫。
實際上現(xiàn)在很多著名的搜索引擎都使用了多種分詞的辦法，比如“正向最大匹配”+“逆向最大匹配”，基于統(tǒng)計學(xué)的新詞識別，自動維護詞庫等技術(shù)，但是顯然這樣的技術(shù)還沒有做到完美。
全文檢索技術(shù)存儲過程
目前全文索引技術(shù)正走向人工智能化，也是發(fā)展的方向。
MicroSoft SqlServer 2000/2005 中的全文索引是由一系列存儲過程來完成的，這些存儲過程按先后順序羅列如下：
1、啟動數(shù)據(jù)庫的全文索引服務(wù)存儲過程：sp_fulltext_service
2、初始化全文索引存儲過程：sp_fulltext_database
3、建立全文索引目錄存儲過程：sp_fulltext_catalog
4、在全文索引目錄中添加刪除表標(biāo)記存儲過程：sp_fulltext_table
5、在全文索引目錄的表中添加或刪除列標(biāo)記存儲過程：sp_fulltext_column
全文檢索的技術(shù)
1概述
圖書情報界對于檢索語言的主流觀點：自然語言檢索是發(fā)展方向，信息檢索要走自然語言道路;人工語言不適應(yīng)網(wǎng)絡(luò)環(huán)境;目前自然語言檢索技術(shù)雖有缺點，但人工智能發(fā)展可使其逐步達到完善，滿足檢索的要求。
自然語言檢索技術(shù)包括：(1)關(guān)鍵詞索引及以關(guān)鍵詞為檢索標(biāo)識的文獻題錄數(shù)據(jù)庫;
(2)全文數(shù)據(jù)庫;(3)搜索引擎及由搜索引擎自動建立的網(wǎng)絡(luò)資源數(shù)據(jù)庫;(4)自動標(biāo)引;
(5)自動分類。在這5個主要方面中，只有關(guān)鍵詞索引及數(shù)據(jù)庫、全文檢索、搜索引擎已經(jīng)實現(xiàn)，但這3個方面的實質(zhì)都是關(guān)鍵詞檢索，所以可以說自然語言檢索目前僅在關(guān)鍵詞檢索的層次上實現(xiàn)。
目前關(guān)鍵詞檢索技術(shù)的最主要用途就是用來實現(xiàn)全文檢索，它是全文檢索的核心。并且關(guān)鍵詞檢索和全文檢索是密不可分的。
2基本概念
所謂全文檢索，是指直接以全文本信息作為主要處理對象，并根據(jù)數(shù)據(jù)資料的內(nèi)容而不是外在特征來實現(xiàn)的信息檢索手段。它的基本工作方式是能夠?qū)⑺邪瑱z索詞的文獻檢索出來，不管這個詞出現(xiàn)在文獻的什么位置，或者說文獻中的任意一個詞都可以作為檢索到該文獻的條件。全文檢索提供存取全文文本(指原始記錄)的空間，文本中任何字符和字符串均可作為檢索的入口點，全文檢索是以原始記錄中的檢索詞、字間的特定位置為對象的運算，對文獻不作標(biāo)引，故沒有標(biāo)引用詞。因此，全文檢索是一種可以不依賴敘詞表而直接使用自由詞的檢索方法。
3實現(xiàn)條件
要實現(xiàn)全文檢索需要2個必要的條件：一是需要將最終信息本身輸入到計算機里，這個問題看似簡單，實際上它包含了極大的工作量;二是需要有相應(yīng)的軟件支持，全文信息不僅包括書刊的文字信息，而且包括圖片、聲音、視頻信息等各種信息資料，即使只將書刊及各種資料的文字信息輸入計算機，其信息量就非常大了。因此，必須有專門的方法、專門的軟件來支持這種“最終信息”的檢索，這類軟件就是全文檢索軟件。
3.1 全文檢索的實現(xiàn)方式
全文檢索目前主要通過以下方式來實現(xiàn)：①采用自由指定的檢索項(如關(guān)鍵詞、字符串等)直接與全文文本的一次數(shù)據(jù)高速對照，進行檢索;②對文本內(nèi)容中的每個檢索項進行位置掃描，然后排序，建立以每個檢索項的離散碼為表目的倒排文檔;③采用超文本模型建立全文數(shù)據(jù)庫，實現(xiàn)超文本檢索。
3.2 全文檢索的核心技術(shù)
全文檢索的核心技術(shù)是將源文檔中所有的基本元素的出現(xiàn)信息記錄到索引庫中。中文全文檢索技術(shù)在原理上同西文全文檢索是一致的，但漢字本身的特點使中文系統(tǒng)的實現(xiàn)比西文系統(tǒng)更為復(fù)雜。在西文中，文檔的基本元素是單詞，可以以單詞建立索引庫，而且單詞與單詞之間有天然的間隔符空格，所以索引文件的建立相對簡單。在中文系統(tǒng)中，基本元素可以是單個漢字字符，也可以是詞。因此，存在2種基本的索引方法，即“詞索引”和“字索引”。
3.2.1 詞索引
“詞索引 ” 以能表達一定的意義的詞為單位， 通過事先內(nèi)嵌的詞典對原始數(shù)據(jù)作索引 ， 以詞為單位進行匹配。詞索引適于大規(guī)模應(yīng)用 ， 索引庫可以組織得比較小 ， 檢索速度也比較快，而且還可以實現(xiàn)同義詞、反義詞的概念檢索，具有較高的查準率。但其難點在于中文自動分詞，由于中文語言的復(fù)雜性使得計算機自動分詞工作具有相當(dāng)?shù)碾y度，分詞很容易出現(xiàn)歧義，從而導(dǎo)致在檢索一些詞時可以發(fā)生大量的漏檢或錯檢，查全率不高。并且在當(dāng)今社會，新的詞匯層出不窮，對詞表的更新也將是個很大的工作量。
3.2.2 字索引
“字索引”則以字為單位，把源文檔中的每一個字的出現(xiàn)位置記錄到索引庫中，索引庫對每個不同的字符都保存了一個字表，記錄同一個字在文檔中的所有出現(xiàn)位置，無須詞典即可對原始數(shù)據(jù)做索引，匹配的時候，以關(guān)鍵詞中的每個漢字為單位向后匹配整個語料樣本。 4 全文索引技術(shù)
全文索引技術(shù)是目前搜索引擎的關(guān)鍵技術(shù)。原理是先定義一個詞庫,然后在文章中查找每個詞條出現(xiàn)的頻率和位置,把這樣的頻率和位置信息按照詞庫的順序歸納,這樣就相當(dāng)于對文件建立了一個以詞庫為目錄的索引,這樣查找某個詞的時候就能很快的定位到該詞出現(xiàn)的位置。問題是在處理英文文檔的時候顯然這樣的方式是非常好的,因為英文自然的被空格分成若干詞,只要我們有足夠大的詞匯庫就能很好的處理。但是中文字符因為沒有空格作為斷詞標(biāo)志,所以就很難判斷一個詞,而且人們使用的詞匯在不斷的變化,而維護一個可擴展的詞匯庫的成本是很高的,所以問題出現(xiàn)了。解決出現(xiàn)這樣的問題使“分詞”成為全文索引的關(guān)鍵技術(shù)。目前有兩種基本的方法:
*二元法:它把所有有可能的每兩兩漢字的組合看為一個詞組,這樣就沒有維護詞庫的開銷。 *詞庫法:它使使用詞庫中的詞作為切分的標(biāo)準,這樣也出現(xiàn)了詞庫跟不上詞匯發(fā)展的問題,除非你維護詞庫。
實際上現(xiàn)在很多著名的搜索引擎都使用了多種分詞的辦法,比如“正向最大匹配”+“逆向最大匹配”,基于統(tǒng)計學(xué)的新詞識別,自動維護詞庫等技術(shù),但是顯然這樣的技術(shù)還沒有做到完美。
5 分詞算法
中文全文檢索技術(shù)的研發(fā)始于1987年左右,主要使用的是中文分詞技術(shù),眾所周知,英文是以詞為單位的,詞和詞之間是靠空格隔開,而中文是以字為單位,句子中所有的字連起來才能描述一個意思,把中文的漢字序列切分成有意義的詞,就是中文分詞,有些人也稱為切詞,其處理過程就是分詞算法。
現(xiàn)有的分詞算法可分為三大類:基于字符串匹配的分詞方法、基于理解的分詞方法和基于統(tǒng)計的分詞方法。
5.1 基于字符串的分詞方法
基于字符串匹配的分詞方法這種方法又叫做機械分詞方法,它是按照一定的策略將待分析的漢字串與一個“充分大的”機器詞典中的詞條進行配,若在詞典中找到某個字符串,則匹配成功(識別出一個詞)。按照掃描方向的不同,串匹配分詞方法可以分為正向匹配和逆向匹配;按照不同長度優(yōu)先匹配的情況,可以分為最大(最長)匹配和最小(最短)匹配;按照是否與詞性標(biāo)注過程相結(jié)合,又可以分為單純分詞方法和分詞與標(biāo)注相結(jié)合的一體化方法。常用的幾種機械分詞方法如下:1)正向最大匹配法(由左到右的方向);2)逆向最大匹配法(由右到左的方向);3)最少切分(使每一句中切出的詞數(shù)最小)。還可以將上述各種方法相互組合,例如,可以將正向最大匹配方法和逆向最大匹配方法結(jié)合起來構(gòu)成雙向匹配法。由于漢語單字成詞的特點,正向最小匹配和逆向最小匹配一般很少使用。一般說來,逆向匹配的切分精度略高于正向匹配,遇到的歧義現(xiàn)象也較少。統(tǒng)計結(jié)果表明,單純使用正向最大匹配的錯誤率為1/169,單純使用逆向最大匹配的錯誤率為1/245。但這種精度還遠遠不能滿足實際的需要。實際使用的分
詞系統(tǒng),都是把機械分詞作為一種初分手段,還需通過利用各種其它的語言信息來進一步提高切分的準確率。一種方法是改進掃描方式,稱為特征掃描或標(biāo)志切分,優(yōu)先在待分析字符串中識別和切分出一些帶有明顯特征的詞,以這些詞作為斷點,可將原字符串分為較小的串再來進機械分詞,從而減少匹配的錯誤率。另一種方法是將分詞和詞類標(biāo)注結(jié)合起來,利用豐富的詞類信息對分詞決策提供幫助,并且在標(biāo)注過程中又反過來對分詞結(jié)果進行檢驗、調(diào)整,從而極大地提高切分的準確率。對于機械分詞方法,可以建立一個一般的模型。
5.2 基于理解的分詞方法
基于理解的分詞方法這種分詞方法是通過讓計算機模擬人對句子的理解,達到識別詞的效果。其基本思想就是在分詞的同時進行句法、語義分析,利用句法信息和語義信息來處理歧義現(xiàn)象。它通常包括三個部分:分詞子系統(tǒng)、句法語義子系統(tǒng)、總控部分。在總控部分的協(xié)調(diào)下,分詞子系統(tǒng)可以獲得有關(guān)詞、句子等的句法和語義信息來對分詞歧義進行判斷,即它模擬了人對句子的理解過程。這種分詞方法需要使用大量的語言知識和信息。由于漢語語言知識的籠統(tǒng)、復(fù)雜性,難以將各種語言信息組織成機器可直接讀取的形式,因此目前基于理解的分詞系統(tǒng)還處在試驗階段。
5.3 基于統(tǒng)計的分詞方法
從形式上看,詞是穩(wěn)定的字的組合,因此在上下文中,相鄰的字同時出現(xiàn)的次數(shù)越多,就越有可能構(gòu)成一個詞。因此字與字相鄰共現(xiàn)的頻率或概率能夠較好的反映成詞的可信度。可以對語料中相鄰共現(xiàn)的各個字的組合的頻度進行統(tǒng)計。雖然有了成熟的分詞算法,但是中文是一種十分復(fù)雜的語言,讓計算機理解中文語言更是困難。在中文分詞過程中,有兩大難題一直沒有完全突破。
第一,歧義識別歧義是指同樣的一句話,可能有兩種或者更多的切分方法。
第二,新詞識別新詞,專業(yè)術(shù)語稱為未登錄詞。也就是那些在字典中都沒有收錄過,但又確實能稱為詞的那些詞。
6 全文檢索技術(shù)的應(yīng)用
在微機工作平臺上，目前已建立了十幾種中英文檢索軟件，其中比較著名的有清華同方的TPI、易寶北信的TRS、北大方正的MIRS、中國百科術(shù)語數(shù)據(jù)庫和海文Quick等。全文檢索軟件的工作過程主要分成2步：第一步是分析待檢索的全文本信息，對其進行索引;第二步是實際的檢索過程，對用戶提出檢索請求，全文檢索軟件根據(jù)第一步得到的索引找到檢索關(guān)鍵字出現(xiàn)的位置，并將相應(yīng)的全文本的有關(guān)篇章或段落提交給用戶。分成兩步，而不是在用戶提交檢索請求之后直接對原文本進行查找匹配的原因主要是考慮到速度的問題。因為通常全文本信息的數(shù)據(jù)量都是非常大的，如果每次要對數(shù)百萬甚至更多的數(shù)據(jù)進行查找匹配，即使是計算機也需要很長的時間。如果是在網(wǎng)絡(luò)環(huán)境下，系統(tǒng)要同時響應(yīng)大量用戶的檢索請求時，用戶等待的時間就更長了。因此，只能事先對原始全文資料作充分的分析并記錄下必要的、足夠的信息，才有可能提供全文檢索。進行事先分析就是對原始資料進行索引，其結(jié)果是生成記錄了原始全文資料所有有關(guān)信息的索引文件。
7 全文檢索技術(shù)的特點
7.1 全文檢索技術(shù)的優(yōu)點
全文檢索技術(shù)具有直接客觀性，它提供存取全文文本的空間，能直接檢查原始文獻或解決問題所需要的文獻資料，不必進行二次檢索，既直接又保證了客觀性。全文檢索得到的是全文文本，而不是文獻的摘要或替代品。全文檢索技術(shù)具有詳盡徹底性，可對文中任何字、詞、句進行檢索，還可表示檢索詞間的復(fù)雜位置關(guān)系，文獻的正文部分或附屬部分都可以檢索和顯示。
全文數(shù)據(jù)庫的建立，無須專門人員前期進行大量標(biāo)引工作，只需將已有的檔案信息數(shù)據(jù)加載到全文檢索軟件平臺上即可。用戶使用時也無須提供專業(yè)化的檢索條件，借助截詞、鄰接等匹配方法，文本中任何字符或字符串都可作為檢索的入口點，用戶2010年2月孫清玉：有效的信息檢索技術(shù)——全文檢索第2期(總148期)73可直接查詢文本中的任何部分或特定單元，查詢效率大大提高。
全文檢索的廣泛適用性，體現(xiàn)在能處理結(jié)構(gòu)化和非結(jié)構(gòu)化的各類文本數(shù)據(jù)，能夠采集各種來源文本，這些來源可能是跨越廣泛地理分布的，也可以是不同介質(zhì)、不同格式產(chǎn)生的文本。全文檢索具有對檢索出的文本進行處理的能力，并且以用戶樂于接受的形式提供檢索并加工處理文本，使檢索系統(tǒng)功能得到了延伸。
7.2 全文檢索系統(tǒng)的欠缺
語詞與概念之間存在著多對多的關(guān)系，即：一個語詞可以表達多個概念，同時一個概念也可以用多個不同的詞來表達。自然語言的這種情況給基于關(guān)鍵詞的信息檢索造成了一定的困難。基于關(guān)鍵詞的全文檢索是以文檔中有沒有檢索要求中的關(guān)鍵詞來召回檢索結(jié)果，而不是以檢索詞所表達的意思來召回結(jié)果的。從這個角度來說，全文檢索可能會造成大量的漏檢。
全文檢索系統(tǒng)不適應(yīng)于學(xué)科或?qū)I(yè)的分類檢索要求及一族事物的族性檢索要求;越是被論述得多的事物，越難在全文檢索系統(tǒng)中得到滿意的檢索結(jié)果。有較多同義詞、準同義詞的檢索對象，由于檢索對象的用詞不定型，以及遇“一詞多義”、“詞義含糊”、不普遍使用的縮略詞、詞的嵌套等情況，都會或多或少影響其檢索效率。
看了什么是全文索引的人還看了：
1.什么是全文檢索
2.全文搜索的方法
3.基于模型庫的現(xiàn)代成本會計計量系統(tǒng)研究論文
5.數(shù)據(jù)管理技術(shù)發(fā)展研究計算機類職稱論文數(shù)據(jù)管理技術(shù)具體就是指人們