從上圖中可以看出，共產(chǎn)生了四次數(shù)據(jù)拷貝，即使使用了DMA來(lái)處理了與硬件的通訊，CPU仍然需要處理兩次數(shù)據(jù)拷貝，與此同時(shí)，在用戶態(tài)與內(nèi)核態(tài)也發(fā)生了多次上下文切換，無(wú)疑也加重了CPU負(fù)擔(dān)。

在此過(guò)程中，我們沒(méi)有對(duì)文件內(nèi)容做任何修改，那么在內(nèi)核空間和用戶空間來(lái)回拷貝數(shù)據(jù)無(wú)疑就是一種浪費(fèi)，而零拷貝主要就是為了解決這種低效性。

什么是零拷貝技術(shù)（zero-copy）？##

零拷貝主要的任務(wù)就是避免CPU將數(shù)據(jù)從一塊存儲(chǔ)拷貝到另外一塊存儲(chǔ)，主要就是利用各種零拷貝技術(shù)，避免讓CPU做大量的數(shù)據(jù)拷貝任務(wù)，減少不必要的拷貝，或者讓別的組件來(lái)做這一類簡(jiǎn)單的數(shù)據(jù)傳輸任務(wù)，讓CPU解脫出來(lái)專注于別的任務(wù)。這樣就可以讓系統(tǒng)資源的利用更加有效。

我們繼續(xù)回到引文中的例子，我們?nèi)绾螠p少數(shù)據(jù)拷貝的次數(shù)呢？一個(gè)很明顯的著力點(diǎn)就是減少數(shù)據(jù)在內(nèi)核空間和用戶空間來(lái)回拷貝，這也引入了零拷貝的一個(gè)類型：

讓數(shù)據(jù)傳輸不需要經(jīng)過(guò)user space

使用mmap#####

我們減少拷貝次數(shù)的一種方法是調(diào)用mmap()來(lái)代替read調(diào)用：

buf = mmap(diskfd, len);
write(sockfd, buf, len);

應(yīng)用程序調(diào)用mmap()，磁盤上的數(shù)據(jù)會(huì)通過(guò)DMA被拷貝的內(nèi)核緩沖區(qū)，接著操作系統(tǒng)會(huì)把這段內(nèi)核緩沖區(qū)與應(yīng)用程序共享，這樣就不需要把內(nèi)核緩沖區(qū)的內(nèi)容往用戶空間拷貝。應(yīng)用程序再調(diào)用write(),操作系統(tǒng)直接將內(nèi)核緩沖區(qū)的內(nèi)容拷貝到socket緩沖區(qū)中，這一切都發(fā)生在內(nèi)核態(tài)，最后，socket緩沖區(qū)再把數(shù)據(jù)發(fā)到網(wǎng)卡去。
同樣的，看圖很簡(jiǎn)單：

使用mmap替代read很明顯減少了一次拷貝，當(dāng)拷貝數(shù)據(jù)量很大時(shí)，無(wú)疑提升了效率。但是使用mmap是有代價(jià)的。當(dāng)你使用mmap時(shí)，你可能會(huì)遇到一些隱藏的陷阱。例如，當(dāng)你的程序map了一個(gè)文件，但是當(dāng)這個(gè)文件被另一個(gè)進(jìn)程截?cái)?truncate)時(shí), write系統(tǒng)調(diào)用會(huì)因?yàn)樵L問(wèn)非法地址而被SIGBUS信號(hào)終止。SIGBUS信號(hào)默認(rèn)會(huì)殺死你的進(jìn)程并產(chǎn)生一個(gè)coredump,如果你的服務(wù)器這樣被中止了，那會(huì)產(chǎn)生一筆損失。

通常我們使用以下解決方案避免這種問(wèn)題：

1、為SIGBUS信號(hào)建立信號(hào)處理程序
當(dāng)遇到SIGBUS信號(hào)時(shí)，信號(hào)處理程序簡(jiǎn)單地返回，write系統(tǒng)調(diào)用在被中斷之前會(huì)返回已經(jīng)寫入的字節(jié)數(shù)，并且errno會(huì)被設(shè)置成success,但是這是一種糟糕的處理辦法，因?yàn)槟悴](méi)有解決問(wèn)題的實(shí)質(zhì)核心。

2、使用文件租借鎖
通常我們使用這種方法，在文件描述符上使用租借鎖，我們?yōu)槲募騼?nèi)核申請(qǐng)一個(gè)租借鎖，當(dāng)其它進(jìn)程想要截?cái)噙@個(gè)文件時(shí)，內(nèi)核會(huì)向我們發(fā)送一個(gè)實(shí)時(shí)的RT_SIGNAL_LEASE信號(hào)，告訴我們內(nèi)核正在破壞你加持在文件上的讀寫鎖。這樣在程序訪問(wèn)非法內(nèi)存并且被SIGBUS殺死之前，你的write系統(tǒng)調(diào)用會(huì)被中斷。write會(huì)返回已經(jīng)寫入的字節(jié)數(shù)，并且置errno為success。

我們應(yīng)該在mmap文件之前加鎖，并且在操作完文件后解鎖：

if(fcntl(diskfd, F_SETSIG, RT_SIGNAL_LEASE) == -1) {
    perror("kernel lease set signal");
    return -1;
}
/* l_type can be F_RDLCK F_WRLCK  加鎖*/
/* l_type can be  F_UNLCK 解鎖*/
if(fcntl(diskfd, F_SETLEASE, l_type)){
    perror("kernel lease set type");
    return -1;
}

使用sendfile#####

從2.1版內(nèi)核開始，Linux引入了sendfile來(lái)簡(jiǎn)化操作:

#include<sys/sendfile.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

系統(tǒng)調(diào)用sendfile()在代表輸入文件的描述符in_fd和代表輸出文件的描述符out_fd之間傳送文件內(nèi)容（字節(jié)）。描述符out_fd必須指向一個(gè)套接字，而in_fd指向的文件必須是可以mmap的。這些局限限制了sendfile的使用，使sendfile只能將數(shù)據(jù)從文件傳遞到套接字上，反之則不行。
使用sendfile不僅減少了數(shù)據(jù)拷貝的次數(shù)，還減少了上下文切換，數(shù)據(jù)傳送始終只發(fā)生在kernel space。

在我們調(diào)用sendfile時(shí)，如果有其它進(jìn)程截?cái)嗔宋募?huì)發(fā)生什么呢？假設(shè)我們沒(méi)有設(shè)置任何信號(hào)處理程序，sendfile調(diào)用僅僅返回它在被中斷之前已經(jīng)傳輸?shù)淖止?jié)數(shù)，errno會(huì)被置為success。如果我們?cè)谡{(diào)用sendfile之前給文件加了鎖，sendfile的行為仍然和之前相同，我們還會(huì)收到RT_SIGNAL_LEASE的信號(hào)。

目前為止，我們已經(jīng)減少了數(shù)據(jù)拷貝的次數(shù)了，但是仍然存在一次拷貝，就是頁(yè)緩存到socket緩存的拷貝。那么能不能把這個(gè)拷貝也省略呢？

借助于硬件上的幫助，我們是可以辦到的。之前我們是把頁(yè)緩存的數(shù)據(jù)拷貝到socket緩存中，實(shí)際上，我們僅僅需要把緩沖區(qū)描述符傳到socket緩沖區(qū)，再把數(shù)據(jù)長(zhǎng)度傳過(guò)去，這樣DMA控制器直接將頁(yè)緩存中的數(shù)據(jù)打包發(fā)送到網(wǎng)絡(luò)中就可以了。

總結(jié)一下，sendfile系統(tǒng)調(diào)用利用DMA引擎將文件內(nèi)容拷貝到內(nèi)核緩沖區(qū)去，然后將帶有文件位置和長(zhǎng)度信息的緩沖區(qū)描述符添加socket緩沖區(qū)去，這一步不會(huì)將內(nèi)核中的數(shù)據(jù)拷貝到socket緩沖區(qū)中，DMA引擎會(huì)將內(nèi)核緩沖區(qū)的數(shù)據(jù)拷貝到協(xié)議引擎中去，避免了最后一次拷貝。

不過(guò)這一種收集拷貝功能是需要硬件以及驅(qū)動(dòng)程序支持的。

使用splice#####

sendfile只適用于將數(shù)據(jù)從文件拷貝到套接字上，限定了它的使用范圍。Linux在2.6.17版本引入splice系統(tǒng)調(diào)用，用于在兩個(gè)文件描述符中移動(dòng)數(shù)據(jù)：

#define _GNU_SOURCE         /* See feature_test_macros(7) */
#include <fcntl.h>
ssize_t splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out, size_t len, unsigned int flags);

splice調(diào)用在兩個(gè)文件描述符之間移動(dòng)數(shù)據(jù)，而不需要數(shù)據(jù)在內(nèi)核空間和用戶空間來(lái)回拷貝。他從fd_in拷貝len長(zhǎng)度的數(shù)據(jù)到fd_out，但是有一方必須是管道設(shè)備，這也是目前splice的一些局限性。flags參數(shù)有以下幾種取值：

SPLICE_F_MOVE ：嘗試去移動(dòng)數(shù)據(jù)而不是拷貝數(shù)據(jù)。這僅僅是對(duì)內(nèi)核的一個(gè)小提示：如果內(nèi)核不能從pipe移動(dòng)數(shù)據(jù)或者pipe的緩存不是一個(gè)整頁(yè)面，仍然需要拷貝數(shù)據(jù)。Linux最初的實(shí)現(xiàn)有些問(wèn)題，所以從2.6.21開始這個(gè)選項(xiàng)不起作用，后面的Linux版本應(yīng)該會(huì)實(shí)現(xiàn)。** SPLICE_F_NONBLOCK** ：splice 操作不會(huì)被阻塞。然而，如果文件描述符沒(méi)有被設(shè)置為不可被阻塞方式的 I/O ，那么調(diào)用 splice 有可能仍然被阻塞。** SPLICE_F_MORE**： 后面的splice調(diào)用會(huì)有更多的數(shù)據(jù)。

splice調(diào)用利用了Linux提出的管道緩沖區(qū)機(jī)制， 所以至少一個(gè)描述符要為管道。

以上幾種零拷貝技術(shù)都是減少數(shù)據(jù)在用戶空間和內(nèi)核空間拷貝技術(shù)實(shí)現(xiàn)的，但是有些時(shí)候，數(shù)據(jù)必須在用戶空間和內(nèi)核空間之間拷貝。這時(shí)候，我們只能針對(duì)數(shù)據(jù)在用戶空間和內(nèi)核空間拷貝的時(shí)機(jī)上下功夫了。Linux通常利用寫時(shí)復(fù)制(copy on write)來(lái)減少系統(tǒng)開銷，這個(gè)技術(shù)又時(shí)常稱作COW。

由于篇幅原因，本文不詳細(xì)介紹寫時(shí)復(fù)制。大概描述下就是：如果多個(gè)程序同時(shí)訪問(wèn)同一塊數(shù)據(jù)，那么每個(gè)程序都擁有指向這塊數(shù)據(jù)的指針，在每個(gè)程序看來(lái)，自己都是獨(dú)立擁有這塊數(shù)據(jù)的，只有當(dāng)程序需要對(duì)數(shù)據(jù)內(nèi)容進(jìn)行修改時(shí)，才會(huì)把數(shù)據(jù)內(nèi)容拷貝到程序自己的應(yīng)用空間里去，這時(shí)候，數(shù)據(jù)才成為該程序的私有數(shù)據(jù)。如果程序不需要對(duì)數(shù)據(jù)進(jìn)行修改，那么永遠(yuǎn)都不需要拷貝數(shù)據(jù)到自己的應(yīng)用空間里。這樣就減少了數(shù)據(jù)的拷貝。寫時(shí)復(fù)制的內(nèi)容可以再寫一篇文章了。。。

除此之外，還有一些零拷貝技術(shù)，比如傳統(tǒng)的Linux I/O中加上O_DIRECT標(biāo)記可以直接I/O，避免了自動(dòng)緩存，還有尚未成熟的fbufs技術(shù)，本文尚未覆蓋所有零拷貝技術(shù)，只是介紹常見的一些，如有興趣，可以自行研究，一般成熟的服務(wù)端項(xiàng)目也會(huì)自己改造內(nèi)核中有關(guān)I/O的部分，提高自己的數(shù)據(jù)傳輸速率。

推薦教程：《Linux運(yùn)維》

更多關(guān)于云服務(wù)器，域名注冊(cè)，虛擬主機(jī)的問(wèn)題，請(qǐng)?jiān)L問(wèn)西部數(shù)碼官網(wǎng)：m.ps-sw.cn





猜你還會(huì)喜歡下面的內(nèi)容

• 做一個(gè)獨(dú)立站需要多少錢
• 西部數(shù)碼怎樣搶注域名
• B2C 電子商務(wù)網(wǎng)站如何做推廣和優(yōu)化
• 網(wǎng)站推廣增加外鏈最好的方法
• 新手站長(zhǎng)淺談：如何在線提升產(chǎn)品轉(zhuǎn)化率
• 網(wǎng)站策劃：九大思維理念助你策劃能力提升
• 如何高效輸出移動(dòng)app產(chǎn)品原型？
• 為什么說(shuō)產(chǎn)品思考是進(jìn)行用戶體驗(yàn)設(shè)計(jì)時(shí)所不可或缺的？
• 六套 App：構(gòu)建我的產(chǎn)品設(shè)計(jì)工作流
• 如果Vine模式重來(lái)，大概就是Biu這個(gè)樣子
• 新手入門：如何做需求分析
• 產(chǎn)品狗的日常：如何更好的去分解功能點(diǎn)
• 簡(jiǎn)單明了丨如何寫出好的PRD
• 產(chǎn)品必修課——輕松搞定UML
• 如果你是個(gè)苦逼的App測(cè)試人員，這款產(chǎn)品或許能拯救你
• 手把手教你制作實(shí)用美觀的交互設(shè)計(jì)文檔

熱門標(biāo)簽

其他問(wèn)題云服務(wù)器問(wèn)題域名及賬戶問(wèn)題企業(yè)郵局市場(chǎng)咨詢云服務(wù)器云建站/云站群/小程序虛擬主機(jī)網(wǎng)絡(luò)知識(shí)企業(yè)郵箱域名注冊(cè)域名備案域名商標(biāo)注冊(cè)云主機(jī)更多標(biāo)簽...

大家感興趣的內(nèi)容