Linux操作系統(tǒng)的IO模型詳解

　　Linux操作系統(tǒng)中IO模型是很常見的。下面由學(xué)習(xí)啦小編為大家整理了Linux操作系統(tǒng)的IO模型詳解，希望對大家有幫助!

　　Linux操作系統(tǒng)的IO模型詳解

　　Linux下的五種IO模型

　　阻塞IO(blocking IO)

　　非阻塞IO (nonblocking IO)

　　IO復(fù)用(select 和poll) (IO multiplexing)

　　信號驅(qū)動(dòng)IO (signal driven IO (SIGIO))

　　異步IO (asynchronous IO (the POSIX aio_functions))

　　前四種都是同步，只有最后一種才是異步IO。

　　阻塞IO模型

　　在這個(gè)模型中，應(yīng)用程序(application)為了執(zhí)行這個(gè)read操作，會(huì)調(diào)用相應(yīng)的一個(gè)system call，將系統(tǒng)控制權(quán)交給kernel，然后就進(jìn)行等待(這其實(shí)就是被阻塞了)。kernel開始執(zhí)行這個(gè)system call，執(zhí)行完畢后會(huì)向應(yīng)用程序返回響應(yīng)，應(yīng)用程序得到響應(yīng)后，就不再阻塞，并進(jìn)行后面的工作。

　　非阻塞IO

　　在linux下，應(yīng)用程序可以通過設(shè)置文件描述符的屬性O(shè)_NONBLOCK，IO操作可以立即返回，但是并不保證IO操作成功。也就是說，當(dāng)應(yīng)用程序設(shè)置了O_NONBLOCK之后，執(zhí)行write操作，調(diào)用相應(yīng)的system call，這個(gè)system call會(huì)從內(nèi)核中立即返回。但是在這個(gè)返回的時(shí)間點(diǎn)，數(shù)據(jù)可能還沒有被真正的寫入到指定的地方。也就是說，kernel只是很快的返回了這個(gè) system call(只有立馬返回，應(yīng)用程序才不會(huì)被這個(gè)IO操作blocking)，但是這個(gè)system call具體要執(zhí)行的事情(寫數(shù)據(jù))可能并沒有完成。而對于應(yīng)用程序，雖然這個(gè)IO操作很快就返回了，但是它并不知道這個(gè)IO操作是否真的成功了，為了知道IO操作是否成功，一般有兩種策略：一是需要應(yīng)用程序主動(dòng)地循環(huán)地去問kernel(這種方法就是同步非阻塞IO);二是采用IO通知機(jī)制，比如：IO多路復(fù)用(這種方法屬于異步阻塞IO)或信號驅(qū)動(dòng)IO(這種方法屬于異步非阻塞IO)。

　　IO多路復(fù)用(異步阻塞IO)

　　和之前一樣，應(yīng)用程序要執(zhí)行read操作，因此調(diào)用一個(gè)system call，這個(gè)system call被傳遞給了kernel。但在應(yīng)用程序這邊，它調(diào)用system call之后，并不等待kernel的返回結(jié)果而是立即返回，雖然立即返回的調(diào)用函數(shù)是一個(gè)異步的方式，但應(yīng)用程序會(huì)被像select()、poll和epoll等具有復(fù)用多個(gè)文件描述符的函數(shù)阻塞住，一直等到這個(gè)system call有結(jié)果返回了，再通知應(yīng)用程序。也就是說，“在這種模型中，IO函數(shù)是非阻塞的，使用阻塞 select、poll、epoll系統(tǒng)調(diào)用來確定一個(gè) 或多個(gè)IO 描述符何時(shí)能操作。”所以，從IO操作的實(shí)際效果來看，異步阻塞IO和第一種同步阻塞IO是一樣的，應(yīng)用程序都是一直等到IO操作成功之后(數(shù)據(jù)已經(jīng)被寫入或者讀取)，才開始進(jìn)行下面的工作。不同點(diǎn)在于異步阻塞IO用一個(gè)select函數(shù)可以為多個(gè)描述符提供通知，提高了并發(fā)性。舉個(gè)例子：假如有一萬個(gè)并發(fā)的read請求，但是網(wǎng)絡(luò)上仍然沒有數(shù)據(jù)，此時(shí)這一萬個(gè)read會(huì)同時(shí)各自阻塞，現(xiàn)在用select、poll、epoll這樣的函數(shù)來專門負(fù)責(zé)阻塞同時(shí)監(jiān)聽這一萬個(gè)請求的狀態(tài)，一旦有數(shù)據(jù)到達(dá)了就負(fù)責(zé)通知，這樣就將之前一萬個(gè)的各自為戰(zhàn)的等待與阻塞轉(zhuǎn)為一個(gè)專門的函數(shù)來負(fù)責(zé)與管理。與此同時(shí)，異步阻塞IO和第二種同步非阻塞IO的區(qū)別在于：同步非阻塞IO是需要應(yīng)用程序主動(dòng)地循環(huán)去詢問是否有操作數(shù)據(jù)可操作，而異步阻塞IO是通過像select和poll等這樣的IO多路復(fù)用函數(shù)來同時(shí)檢測多個(gè)事件句柄來告知應(yīng)用程序是否可以有數(shù)據(jù)操作。

　　信號驅(qū)動(dòng)IO (signal driven IO (SIGIO))

　　應(yīng)用程序提交read請求的system call，然后，kernel開始處理相應(yīng)的IO操作，而同時(shí)，應(yīng)用程序并不等kernel返回響應(yīng)，就會(huì)開始執(zhí)行其他的處理操作(應(yīng)用程序沒有被IO操作所阻塞)。當(dāng)kernel執(zhí)行完畢，返回read的響應(yīng)，就會(huì)產(chǎn)生一個(gè)信號或執(zhí)行一個(gè)基于線程的回調(diào)函數(shù)來完成這次 IO 處理過程。

　　從理論上說，阻塞IO、IO復(fù)用和信號驅(qū)動(dòng)的IO都是同步IO模型。因?yàn)樵谶@三種模型中，IO的讀寫操作都是在IO事件發(fā)生之后由應(yīng)用程序來完成。而POSIX規(guī)范所定義的異步IO模型則不同。對異步IO而言，用戶可以直接對IO執(zhí)行讀寫操作，這些操作告訴內(nèi)核用戶讀寫緩沖區(qū)的位置，以及IO操作完成后內(nèi)核通知應(yīng)用程序的方式。異步IO讀寫操作總是立即返回，而不論IO是否阻塞的，因?yàn)檎嬷鞯淖x寫操作已經(jīng)由內(nèi)核接管。也就是說，同步IO模型要求用戶代碼自行執(zhí)行IO操作(將數(shù)據(jù)從內(nèi)核緩沖區(qū)讀入用戶緩沖區(qū)，或?qū)?shù)據(jù)從用戶緩沖區(qū)寫入內(nèi)核緩沖區(qū))，而異步IO機(jī)制則是由內(nèi)核來執(zhí)行IO操作(數(shù)據(jù)在內(nèi)核緩沖區(qū)和用戶緩沖區(qū)之間的移動(dòng)是由內(nèi)核在后臺(tái)完成的)。你可以這樣認(rèn)為，同步IO向應(yīng)用程序通知的是IO就緒事件，而異步IO向應(yīng)用程序通知的是IO完成事件。linux環(huán)境下，aio.h頭文件中定義的函數(shù)提供了對異步IO的支持。

　　異步IO (asynchronous IO (the POSIX aio_functions))

　　異步IO與上面的異步概念是一樣的， 當(dāng)一個(gè)異步過程調(diào)用發(fā)出后，調(diào)用者不能立刻得到結(jié)果，實(shí)際處理這個(gè)調(diào)用的函數(shù)在完成后，通過狀態(tài)、通知和回調(diào)來通知調(diào)用者的輸入輸出操作。異步IO的工作機(jī)制是：告知內(nèi)核啟動(dòng)某個(gè)操作，并讓內(nèi)核在整個(gè)操作完成后通知我們，這種模型與信號驅(qū)動(dòng)的IO區(qū)別在于，信號驅(qū)動(dòng)IO是由內(nèi)核通知我們何時(shí)可以啟動(dòng)一個(gè)IO操作，這個(gè)IO操作由用戶自定義的信號函數(shù)來實(shí)現(xiàn)，而異步IO模型是由內(nèi)核告知我們IO操作何時(shí)完成。為了實(shí)現(xiàn)異步IO，專門定義了一套以aio開頭的API，如：aio_read.

　　小結(jié)：前四種模型–阻塞IO、非阻塞IO、多路復(fù)用IO和信號驅(qū)動(dòng)IO都屬于同步模式，因?yàn)槠渲姓嬲腎O操作(函數(shù))都將會(huì)阻塞進(jìn)程，只有異步IO模型真正實(shí)現(xiàn)了IO操作的異步性。

　　IO復(fù)用

　　為了解釋這個(gè)名詞，首先來理解下復(fù)用這個(gè)概念，復(fù)用也就是共用的意思，這樣理解還是有些抽象，為此，咱們來理解下復(fù)用在通信領(lǐng)域的使用，在通信領(lǐng)域中為了充分利用網(wǎng)絡(luò)連接的物理介質(zhì)，往往在同一條網(wǎng)絡(luò)鏈路上采用時(shí)分復(fù)用或頻分復(fù)用的技術(shù)使其在同一鏈路上傳輸多路信號，到這里我們就基本上理解了復(fù)用的含義，即公用某個(gè)“介質(zhì)”來盡可能多的做同一類(性質(zhì))的事，那IO復(fù)用的“介質(zhì)”是什么呢?為此我們首先來看看服務(wù)器編程的模型，客戶端發(fā)來的請求服務(wù)端會(huì)產(chǎn)生一個(gè)進(jìn)程來對其進(jìn)行服務(wù)，每當(dāng)來一個(gè)客戶請求就產(chǎn)生一個(gè)進(jìn)程來服務(wù)，然而進(jìn)程不可能無限制的產(chǎn)生，因此為了解決大量客戶端訪問的問題，引入了IO復(fù)用技術(shù)，即：一個(gè)進(jìn)程可以同時(shí)對多個(gè)客戶請求進(jìn)行服務(wù)。也就是說IO復(fù)用的“介質(zhì)”是進(jìn)程(準(zhǔn)確的說復(fù)用的是select和poll，因?yàn)檫M(jìn)程也是靠調(diào)用select和poll來實(shí)現(xiàn)的)，復(fù)用一個(gè)進(jìn)程(select和poll)來對多個(gè)IO進(jìn)行服務(wù)，雖然客戶端發(fā)來的IO是并發(fā)的但是IO所需的讀寫數(shù)據(jù)多數(shù)情況下是沒有準(zhǔn)備好的，因此就可以利用一個(gè)函數(shù)(select和poll)來監(jiān)聽IO所需的這些數(shù)據(jù)的狀態(tài)，一旦IO有數(shù)據(jù)可以進(jìn)行讀寫了，進(jìn)程就來對這樣的IO進(jìn)行服務(wù)。

　　理解完IO復(fù)用后，我們在來看下實(shí)現(xiàn)IO復(fù)用中的三個(gè)API(select、poll和epoll)的區(qū)別和聯(lián)系,select，poll，epoll都是IO多路復(fù)用的機(jī)制，IO多路復(fù)用就是通過一種機(jī)制，可以監(jiān)視多個(gè)描述符，一旦某個(gè)描述符就緒(一般是讀就緒或者寫就緒)，能夠通知應(yīng)用程序進(jìn)行相應(yīng)的讀寫操作。但select，poll，epoll本質(zhì)上都是同步IO，因?yàn)樗麄兌夹枰谧x寫事件就緒后自己負(fù)責(zé)進(jìn)行讀寫，也就是說這個(gè)讀寫過程是阻塞的，而異步IO則無需自己負(fù)責(zé)進(jìn)行讀寫，異步IO的實(shí)現(xiàn)會(huì)負(fù)責(zé)把數(shù)據(jù)從內(nèi)核拷貝到用戶空間。三者的原型如下所示：

　　int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);

　　int poll(struct pollfd *fds, nfds_t nfds, int timeout);

　　int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);

　　補(bǔ)充：相關(guān)的概念說明

　　用戶空間與內(nèi)核空間

　　現(xiàn)在操作系統(tǒng)都是采用虛擬存儲(chǔ)器，那么對32位操作系統(tǒng)而言，它的尋址空間(虛擬存儲(chǔ)空間)為4G(2的32次方)。操作系統(tǒng)的核心是內(nèi)核，獨(dú)立于普通的應(yīng)用程序，可以訪問受保護(hù)的內(nèi)存空間，也有訪問底層硬件設(shè)備的所有權(quán)限。為了保證用戶進(jìn)程不能直接操作內(nèi)核(kernel)，保證內(nèi)核的安全，操作系統(tǒng)將虛擬空間劃分為兩部分，一部分為內(nèi)核空間，一部分為用戶空間。針對linux操作系統(tǒng)而言，將最高的1G字節(jié)(從虛擬地址0xC0000000到0xFFFFFFFF)，供內(nèi)核使用，稱為內(nèi)核空間，而將較低的3G字節(jié)(從虛擬地址0×00000000到0xBFFFFFFF)，供各個(gè)進(jìn)程使用，稱為用戶空間。

　　進(jìn)程切換

　　為了控制進(jìn)程的執(zhí)行，內(nèi)核必須有能力掛起正在CPU上運(yùn)行的進(jìn)程，并恢復(fù)以前掛起的某個(gè)進(jìn)程的執(zhí)行。這種行為被稱為進(jìn)程切換。因此可以說，任何進(jìn)程都是在操作系統(tǒng)內(nèi)核的支持下運(yùn)行的，是與內(nèi)核緊密相關(guān)的。

　　從一個(gè)進(jìn)程的運(yùn)行轉(zhuǎn)到另一個(gè)進(jìn)程上運(yùn)行，這個(gè)過程中經(jīng)過下面這些變化：

　　保存處理機(jī)上下文，包括程序計(jì)數(shù)器和其他寄存器。

　　更新PCB信息。

　　把進(jìn)程的PCB移入相應(yīng)的隊(duì)列，如就緒、在某事件阻塞等隊(duì)列。 選擇另一個(gè)進(jìn)程執(zhí)行，并更新其PCB。

　　更新內(nèi)存管理的數(shù)據(jù)結(jié)構(gòu)。

　　恢復(fù)處理機(jī)上下文。

　　進(jìn)程的阻塞

　　正在執(zhí)行的進(jìn)程，由于期待的某些事件未發(fā)生，如請求系統(tǒng)資源失敗、等待某種操作的完成、新數(shù)據(jù)尚未到達(dá)或無新工作做等，則由系統(tǒng)自動(dòng)執(zhí)行阻塞原語(Block)，使自己由運(yùn)行狀態(tài)變?yōu)樽枞麪顟B(tài)?？梢?，進(jìn)程的阻塞是進(jìn)程自身的一種主動(dòng)行為，也因此只有處于運(yùn)行態(tài)的進(jìn)程(獲得CPU)，才可能將其轉(zhuǎn)為阻塞狀態(tài)。當(dāng)進(jìn)程進(jìn)入阻塞狀態(tài)，是不占用CPU資源的。

　　文件描述符

　　文件描述符(File descriptor)是計(jì)算機(jī)科學(xué)中的一個(gè)術(shù)語，是一個(gè)用于表述指向文件的引用的抽象化概念。

　　文件描述符在形式上是一個(gè)非負(fù)整數(shù)。實(shí)際上，它是一個(gè)索引值，指向內(nèi)核為每一個(gè)進(jìn)程所維護(hù)的該進(jìn)程打開文件的記錄表。當(dāng)程序打開一個(gè)現(xiàn)有文件或者創(chuàng)建一個(gè)新文件時(shí)，內(nèi)核向進(jìn)程返回一個(gè)文件描述符。在程序設(shè)計(jì)中，一些涉及底層的程序編寫往往會(huì)圍繞著文件描述符展開。但是文件描述符這一概念往往只適用于UNIX、Linux這樣的操作系統(tǒng)。

　　緩存 IO

　　緩存 IO 又被稱作標(biāo)準(zhǔn) IO，大多數(shù)文件系統(tǒng)的默認(rèn) IO 操作都是緩存 IO。在 Linux 的緩存 IO 機(jī)制中，操作系統(tǒng)會(huì)將 IO 的數(shù)據(jù)緩存在文件系統(tǒng)的頁緩存( page cache )中，也就是說，數(shù)據(jù)會(huì)先被拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)中，然后才會(huì)從操作系統(tǒng)內(nèi)核的緩沖區(qū)拷貝到應(yīng)用程序的地址空間。

　　緩存 IO 的缺點(diǎn)：

　　數(shù)據(jù)在傳輸過程中需要在應(yīng)用程序地址空間和內(nèi)核進(jìn)行多次數(shù)據(jù)拷貝操作，這些數(shù)據(jù)拷貝操作所帶來的 CPU 以及內(nèi)存開銷是非常大的。

　　同步與異步 & 阻塞與非阻塞

　　在進(jìn)行網(wǎng)絡(luò)編程時(shí)，我們常常見到同步(Sync)/異步(Async)，阻塞(Block)/非阻塞(Unblock)四種調(diào)用方式，先理解一些概念性的東西。

　　1.同步與異步

　　同步與異步同步和異步關(guān)注的是消息通信機(jī)制 (synchronous communication/ asynchronous communication)所謂同步，就是在發(fā)出一個(gè)調(diào)用時(shí)，在沒有得到結(jié)果之前，該調(diào)用就不返回。但是一旦調(diào)用返回，就得到返回值了。換句話說，就是由調(diào)用者主動(dòng)等待這個(gè)調(diào)用的結(jié)果。

　　而異步則是相反，調(diào)用在發(fā)出之后，這個(gè)調(diào)用就直接返回了，所以沒有返回結(jié)果。換句話說，當(dāng)一個(gè)異步過程調(diào)用發(fā)出后，調(diào)用者不會(huì)立刻得到結(jié)果。而是在調(diào)用發(fā)出后，被調(diào)用者通過狀態(tài)、通知來通知調(diào)用者，或通過回調(diào)函數(shù)處理這個(gè)調(diào)用。

　　典型的異步編程模型比如Node.js。

　　2016.4.17更新：

　　POSIX對這兩個(gè)術(shù)語的定義：

　　同步I/O操作：導(dǎo)致請求進(jìn)程阻塞，直到I/O操作完成

　　異步I/O操作：不導(dǎo)致請求進(jìn)程阻塞

　　2. 阻塞與非阻塞

　　阻塞和非阻塞關(guān)注的是程序在等待調(diào)用結(jié)果(消息，返回值)時(shí)的狀態(tài)。

　　阻塞調(diào)用是指調(diào)用結(jié)果返回之前，當(dāng)前線程會(huì)被掛起。調(diào)用線程只有在得到結(jié)果之后才會(huì)返回。非阻塞調(diào)用指在不能立刻得到結(jié)果之前，該調(diào)用不會(huì)阻塞當(dāng)前線程。

　　關(guān)于阻塞/非阻塞 & 同步/異步更加形象的比喻

　　老張愛喝茶，廢話不說，煮開水。 出場人物：老張，水壺兩把(普通水壺，簡稱水壺;會(huì)響的水壺，簡稱響水壺)。

　　1. 老張把水壺放到火上，立等水開。(同步阻塞) 老張覺得自己有點(diǎn)傻

　　2. 老張把水壺放到火上，去客廳看電視，時(shí)不時(shí)去廚房看看水開沒有。(同步非阻塞) 老張還是覺得自己有點(diǎn)傻，于是變高端了，買了把會(huì)響笛的那種水壺。水開之后，能大聲發(fā)出嘀~~~~的噪音。

　　3. 老張把響水壺放到火上，立等水開。(異步阻塞) 老張覺得這樣傻等意義不大

　　4. 老張把響水壺放到火上，去客廳看電視，水壺響之前不再去看它了，響了再去拿壺。(異步非阻塞) 老張覺得自己聰明了。

　　所謂同步異步，只是對于水壺而言。普通水壺，同步;響水壺，異步。雖然都能干活，但響水壺可以在自己完工之后，提示老張水開了。這是普通水壺所不能及的。同步只能讓調(diào)用者去輪詢自己(情況2中)，造成老張效率的低下。

　　所謂阻塞非阻塞，僅僅對于老張而言。立等的老張，阻塞;看視的老張，非阻塞。情況1和情況3中老張就是阻塞的，媳婦喊他都不知道。雖然3中響水壺是異步的，可對于立等的老張沒有太大的意義。所以一般異步是配合非阻塞使用的，這樣才能發(fā)揮異步的效用。