修改Docker默認(rèn)文件系統(tǒng)DeviceMapper為OverlayFS

開源將軍

最近一直在研究Mesos, Marathon跟Docker結(jié)合的容器云平臺(tái)，Mesos 框架已經(jīng)搭好，并且Marathon也可以實(shí)現(xiàn)簡(jiǎn)單的Docker應(yīng)用管理了，然后今天嘗試搭建一下mesosphere公司的DC/OS平臺(tái)（https://dcos.io/），利用這個(gè)平臺(tái)可以很容易實(shí)現(xiàn)基于容器的云計(jì)算平臺(tái)的資源調(diào)度，管理，應(yīng)用分配，負(fù)載均衡，動(dòng)態(tài)擴(kuò)展，故障轉(zhuǎn)移等。DC/OS底層系統(tǒng)也是基于Docker的，根據(jù)官方文檔建議，我們把CentOS7系統(tǒng)上Docker默認(rèn)的文件系統(tǒng)DeviceMapper改為OverlayFS。
Docker最開始支持的文件系統(tǒng)是Aufs的，是一種Union File System,原理就是將多個(gè)目錄掛在到同一個(gè)虛擬目錄下，整個(gè)文件系統(tǒng)是一個(gè)分層的概念，請(qǐng)看圖：
  
然后RedHat系列的系統(tǒng)是不支持Aufs的，當(dāng)Docker變得越來越流行的時(shí)候，RedHat公司發(fā)行我也得插一腳進(jìn)去，然后RedHat公司就對(duì)這個(gè)Aufs研究了一下，然后說“恩，我們牛逼，我要開發(fā)一套新的文件系統(tǒng)用來運(yùn)行Docker”。后來這套系統(tǒng)就是基于自家的在kernel2.6之后被引進(jìn)的DeviceMapper技術(shù)。主要用到Docker上的就是Snapshot和Thinly-provisioned Snapshot, 這個(gè)Snapshot在LVM邏輯卷管理場(chǎng)景下用來創(chuàng)建虛擬快照的，Thin-Provisioning是一項(xiàng)利用虛擬化方法減少物理存儲(chǔ)部署的技術(shù)，可最大限度提升存儲(chǔ)空間利用率。當(dāng)這兩個(gè)技術(shù)結(jié)合起來就是DeviceMapper給RedHat系統(tǒng)實(shí)現(xiàn)Docker文件系統(tǒng)的最后方案了。其實(shí)這個(gè)方案也是基于分層的理論給每一層鏡像創(chuàng)建快照。如圖：
  
然而DeviceMapper的性能并不是那么的好，DC/OS官網(wǎng)給出的解釋是會(huì)出現(xiàn)unknown issue并且不能再Docker里面運(yùn)行Docker，DeviceMapper默認(rèn)情況下創(chuàng)建loop-lvm的方式來構(gòu)建鏡像和容器的snapshots。但是在生產(chǎn)環(huán)境下Docker官方建議采用直連的lvm卷來構(gòu)建鏡像和容器，然后在啟動(dòng)Docker Daemon的時(shí)候使用如下方式來加載：
1
2
3
4
5
{
     "storage-driver": "devicemapper",
     "storage-opts": [         "dm.thinpooldev=/dev/mapper/docker-thinpool",         "dm.use_deferred_removal=true"
     ]
}



在系統(tǒng)里運(yùn)行docker info即可查看到使用的是什么文件系統(tǒng)：
這是Cent6.5系統(tǒng)的，發(fā)現(xiàn)使用的是devicemapper，而且Data File是loop0：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
# docker info
Containers: 11
Images: 63
Storage Driver: devicemapper
Pool Name: docker-252:1-679218-pool
Pool Blocksize: 65.54 kB
Backing Filesystem: extfs
Data file: /dev/loop0
Metadata file: /dev/loop1
Data Space Used: 2.221 GB
Data Space Total: 107.4 GB
Data Space Available: 9.648 GB
Metadata Space Used: 4.166 MB
Metadata Space Total: 2.147 GB
Metadata Space Available: 2.143 GB
Udev Sync Supported: true
Deferred Removal Enabled: false
Data loop file: /var/lib/docker/devicemapper/devicemapper/data
Metadata loop file: /var/lib/docker/devicemapper/devicemapper/metadata
Library Version: 1.02.95-RHEL6 (2015-09-0
Execution Driver: native-0.2
Logging Driver: json-file
Kernel Version: 2.6.32-573.22.1.el6.x86_64
Operating System: <unknown>
CPUs: 2
Total Memory: 2.819 GiB
Name: bastion.shanker
ID: SJVK:KAXO:ZDAB:XWSM:O45I:EF6U:GE2T:RU3Y:NW6B:K4IQYEN:B4BJ




這臺(tái)是Ubuntu12.04的,使用的Aufs系統(tǒng)：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
# docker info
Containers: 1
Running: 0
Paused: 0
Stopped: 1
Images: 38
Server Version: 1.10.3
Storage Driver: aufs
Root Dir: /var/lib/docker/aufs
Backing Filesystem: extfs
Dirs: 101
Dirperm1 Supported: false
Execution Driver: native-0.2
Logging Driver: json-file
Plugins:
Volume: local
Network: host bridge null
Kernel Version: 3.13.0-24-generic
Operating System: Ubuntu 14.04.1 LTS
OSType: linux
Architecture: x86_64
CPUs: 1
Total Memory: 1.463 GiB
Name: dbslave.shanker
ID: IDR4:IA4B:3GDE:O6KF:IACI:BQE2:5SJL:25CA:4KV3:OCIG:RGYC:N22G
Username: shanker
Registry: https://index.docker.io/v1/
WARNING: No swap limit support




這臺(tái)是CentOS7.2系統(tǒng)，使用的是我更改后的OverlayFS系統(tǒng)：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# docker info
Containers: 3
Running: 0
Paused: 0
Stopped: 3
Images: 5
Server Version: 1.11.1
Storage Driver: overlay
Backing Filesystem: xfs
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
Volume: local
Network: bridge null host
Kernel Version: 3.10.0-327.18.2.el7.x86_64
Operating System: CentOS Linux 7 (Core)
OSType: linux
Architecture: x86_64
CPUs: 1
Total Memory: 3.703 GiB
Name: ukcent2.novalocal
ID: 7Q46:GGPP:HOLP:5ICX:WXV7:ZC73:S45I:HVC2:UEWX:FL6LMSC:TVYH
Docker Root Dir: /var/lib/docker
Debug mode (client): false
Debug mode (server): false
Registry: https://index.docker.io/v1/



然后我們今天要做的是放棄DeviceMapper，使用OverlayFS來作為默認(rèn)的存儲(chǔ)系統(tǒng)。首先要升級(jí)到CentOS7.2，有一個(gè)XFS的Bug在7.2系統(tǒng)被修復(fù)了。


1.    將OverlayFS加到module目錄下
1
echo "overlay" > /etc/modules-load.d/overlay.conf




2.    reboot 系統(tǒng)，執(zhí)行l(wèi)smod看時(shí)候看到overlay
1
2
# lsmod | grep over
overlay                42451  0




3.    將Docker源添加到系統(tǒng)里
1
2
3
4
5
6
7
8
cat >/etc/yum.repos.d/docker.repo<<E
[dockerrepo]
name=Docker Repository
baseurl=https://yum.dockerproject.org/repo/main/centos/$releasever/
enabled=1
gpgcheck=1
gpgkey=https://yum.dockerproject.org/gpg
E




4.    配置Docker Daemon用OverlayFS啟動(dòng)

1
2
3
4
5
6
sudo mkdir -p /etc/systemd/system/docker.service.d
sudo cat >/etc/systemd/system/docker.service.d/override.conf <<E
[Service]
ExecStart=
ExecStart=/usr/bin/docker daemon --storage-driver=overlay -H fd://
E




5.    安裝Docker，設(shè)置開機(jī)自啟動(dòng)
1
2
3
sudo yum -y install docker-engine
sudo sysctemctl start docker
sudo systemctl enable docker




6.    Docker info 看一下，如果看到
1
Storage Driver: overlay



那就證明更改成功，已經(jīng)從Devicemapper換到了ovelay了。

附：Docker目前支持的文件系統(tǒng)
  

參考：
https://docs.docker.com/engine/u ... iver/selectadriver/
https://docs.docker.com/engine/u ... driver/aufs-driver/
https://dcos.io/docs/1.7/adminis ... equirements/#docker
http://coolshell.cn/articles/17200.html