如果文件不在容器層(upperdir),則從鏡像層(lowerdir)讀?。?/p>
修改:
首次寫入: 如果在upperdir中不存在,overlay和overlay2執(zhí)行copy_up操作,把文件從lowdir拷貝到upperdir,由于overlayfs是文件級別的(即使文件只有很少的一點修改,也會產(chǎn)生的copy_up的行為),后續(xù)對同一文件的在此寫入操作將對已經(jīng)復制到容器的文件的副本進行操作。這也就是常常說的寫時復制(copy-on-write)
刪除文件和目錄: 當文件在容器被刪除時,在容器層(upperdir)創(chuàng)建whiteout文件,鏡像層(lowerdir)的文件是不會被刪除的,因為他們是只讀的,但without文件會阻止他們顯示,當目錄在容器內(nèi)被刪除時,在容器層(upperdir)一個不透明的目錄,這個和上面whiteout原理一樣,阻止用戶繼續(xù)訪問,即便鏡像層仍然存在。
注意事項
copy_up操作只發(fā)生在文件首次寫入,以后都是只修改副本,
overlayfs只適用兩層目錄,,相比于比AUFS,查找搜索都更快。
容器層的文件刪除只是一個“障眼法”,是靠whiteout文件將其遮擋,image層并沒有刪除,這也就是為什么使用docker commit 提交保存的鏡像會越來越大,無論在容器層怎么刪除數(shù)據(jù),image層都不會改變。
三、overlay2鏡像存儲結(jié)構(gòu)
從倉庫pull一個ubuntu鏡像,結(jié)果顯示總共拉取了4層鏡像如下:
此時4層被存儲在了/var/lib/docker/overlay2/目錄下:
這里面多了一個l目錄包含了所有層的軟連接,短鏈接使用短名稱,避免mount時候參數(shù)達到頁面大小限制(演示中mount命令查看時候的短目錄):
處于底層的鏡像目錄包含了一個diff和一個link文件,diff目錄存放了當前層的鏡像內(nèi)容,而link文件則是與之對應的短名稱:
在這之上的鏡像還多了work目錄和lower文件,lower文件用于記錄父層的短名稱,work目錄用于聯(lián)合掛載指定的工作目錄。而這些目錄和鏡像的關系是怎么組織在的一起呢?答案是通過元數(shù)據(jù)關聯(lián)。元數(shù)據(jù)分為image元數(shù)據(jù)和layer元數(shù)據(jù)。
image元數(shù)據(jù)
鏡像元數(shù)據(jù)存儲在了/var/lib/docker/image/<storage_driver>/imagedb/content/sha256/目錄下,名稱是以鏡像ID命名的文件,鏡像ID可通過docker images查看,這些文件以json的形式保存了該鏡像的rootfs信息、鏡像創(chuàng)建時間、構(gòu)建歷史信息、所用容器、包括啟動的Entrypoint和CMD等等。例如ubuntu鏡像的id為47b19964fb50:
查看其對應的元數(shù)據(jù)(使用vim :%!python -m json.tool格式化成json) 截取了其rootfs的構(gòu)成:
上面的 diff_id 對應的的是一個鏡像層,其排列也是有順序的,從上到下依次表示鏡像層的最低層到最頂層:
diff_id如何關聯(lián)進行層?具體說來,docker 利用 rootfs 中的每個diff_id 和歷史信息計算出與之對應的內(nèi)容尋址的索引(chainID) ,而chaiID則關聯(lián)了layer層,進而關聯(lián)到每一個鏡像層的鏡像文件。
layer元數(shù)據(jù)
layer 對應鏡像層的概念,在 docker 1.10 版本以前,鏡像通過一個 graph 結(jié)構(gòu)管理,每一個鏡像層都擁有元數(shù)據(jù),記錄了該層的構(gòu)建信息以及父鏡像層 ID,而最上面的鏡像層會多記錄一些信息作為整個鏡像的元數(shù)據(jù)。graph 則根據(jù)鏡像 ID(即最上層的鏡像層 ID) 和每個鏡像層記錄的父鏡像層 ID 維護了一個樹狀的鏡像層結(jié)構(gòu)。
在 docker 1.10 版本后,鏡像元數(shù)據(jù)管理巨大的改變之一就是簡化了鏡像層的元數(shù)據(jù),鏡像層只包含一個具體的鏡像層文件包。用戶在 docker 宿主機上下載了某個鏡像層之后,docker 會在宿主機上基于鏡像層文件包和 image 元數(shù)據(jù)構(gòu)建本地的 layer 元數(shù)據(jù),包括 diff、parent、size 等。而當 docker 將在宿主機上產(chǎn)生的新的鏡像層上傳到 registry 時,與新鏡像層相關的宿主機上的元數(shù)據(jù)也不會與鏡像層一塊打包上傳。
Docker 中定義了 Layer 和 RWLayer 兩種接口,分別用來定義只讀層和可讀寫層的一些操作,又定義了 roLayer 和 mountedLayer,分別實現(xiàn)了上述兩種接口。其中,roLayer 用于描述不可改變的鏡像層,mountedLayer 用于描述可讀寫的容器層。具體來說,roLayer 存儲的內(nèi)容主要有索引該鏡像層的 chainID、該鏡像層的校驗碼 diffID、父鏡像層 parent、storage_driver 存儲當前鏡像層文件的 cacheID、該鏡像層的 size 等內(nèi)容。這些元數(shù)據(jù)被保存在 /var/lib/docker/image/<storage_driver>/layerdb/sha256/<chainID>/ 文件夾下。如下:
每個chainID目錄下會存在三個文件cache-id、diff、zize:
cache-id文件:
docker隨機生成的uuid,內(nèi)容是保存鏡像層的目錄索引,也就是/var/lib/docker/overlay2/中的目錄,這就是為什么通過chainID能找到對應的layer目錄。以chainID為d801a12f6af7beff367268f99607376584d8b2da656dcd8656973b7ad9779ab4 對應的目錄為 130ea10d6f0ebfafc8ca260992c8d0bef63a1b5ca3a7d51a5cd1b1031d23efd5,也就保存在/var/lib/docker/overlay2/130ea10d6f0ebfafc8ca260992c8d0bef63a1b5ca3a7d51a5cd1b1031d23efd5
diff文件:
保存了鏡像元數(shù)據(jù)中的diff_id(與元數(shù)據(jù)中的diff_ids中的uuid對應)
size文件:
保存了鏡像層的大小
在 layer 的所有屬性中,diffID 采用 SHA256 算法,基于鏡像層文件包的內(nèi)容計算得到。而 chainID 是基于內(nèi)容存儲的索引,它是根據(jù)當前層與所有祖先鏡像層 diffID 計算出來的,具體算如下:
如果該鏡像層是最底層(沒有父鏡像層),該層的 diffID 便是 chainID。
該鏡像層的 chainID 計算公式為 chainID(n)=SHA256(chain(n-1) diffID(n)),也就是根據(jù)父鏡像層的 chainID 加上一個空格和當前層的 diffID,再計算 SHA256 校驗碼。
mountedLayer 信息存儲的可讀init層以及容器掛載點信息包括:容器 init 層ID(init-id)、聯(lián)合掛載使用的ID(mount-id)以及容器層的父層鏡像的 chainID(parent)。相關文件位于/var/lib/docker/image/<storage_driver>/layerdb/mounts/<container_id>/ 目錄下。如下啟動一個id為3c96960b3127的容器:
查看其對應的mountedLayer三個文件:
可以看到initID是在mountID后加了一個-init,同時initID就是存儲在/var/lib/docker/overlay2/的目錄名稱:
查看mountID還可以直接通過mount命令查看對應掛載的mountID,對應著/var/lib/docker/overlay2/目錄,這也是overlayfs呈現(xiàn)的merged目錄:
在容器中創(chuàng)建了一文件:
此時到宿主的merged目錄就能看到對應的文件:
關于init層
init層是以一個uuid -init結(jié)尾表示,夾在只讀層和讀寫層之間,作用是專門存放/etc/hosts、/etc/resolv.conf等信息,需要這一層的原因是當容器啟動時候,這些本該屬于image層的文件或目錄,比如hostname,用戶需要修改,但是image層又不允許修改,所以啟動時候通過單獨掛載一層init層,通過修改init層中的文件達到修改這些文件目的。而這些修改往往只讀當前容器生效,而在docker commit提交為鏡像時候,并不會將init層提交。該層文件存放的目錄為/var/lib/docker/overlay2/<init_id>/diff
小結(jié)
通過以上的內(nèi)容介紹,一個容器完整的層應由三個部分組成,如下圖:
鏡像層:也稱為rootfs,提供容器啟動的文件系統(tǒng)
init層: 用于修改容器中一些文件如/etc/hostname、/etc/resolv.conf等
容器層:使用聯(lián)合掛載統(tǒng)一給用戶提供的可讀寫目錄。
四、總結(jié)
本文介紹了以overlayfs作為存儲驅(qū)動的的鏡像存儲原理其中每層的鏡像數(shù)據(jù)保存在/var/lib/docker/overlay2/<uuid>/diff目錄下,init層數(shù)據(jù)保存了在 /var/lib/docker/overlay2/<init-id>/diff目錄下,最后統(tǒng)一視圖(容器層)數(shù)據(jù)在 /var/lib/docker/overlay2/<mount_id>/diff目錄下,docker通過image元數(shù)據(jù)和layer元數(shù)據(jù)利用內(nèi)容尋址(chainID)將這些目錄組織起來構(gòu)成容器所運行的文件系統(tǒng)。
參考:
《use overlayfs driver 》
《Docker 鏡像之存儲管理》
到此這篇關于Docker鏡像存儲overlayfs的使用的文章就介紹到這了,更多相關Docker鏡像存儲overlayfs內(nèi)容請搜素西部數(shù)碼以前的文章或下面相關文章,希望大家以后多多支持西部數(shù)碼!
更多關于云服務器,域名注冊,虛擬主機的問題,請訪問西部數(shù)碼官網(wǎng):m.ps-sw.cn