Docker核心原理之 Cgroup詳解

內(nèi)核中強(qiáng)大的工具cgroup，不僅可以限制被NameSpace隔離起來(lái)的資源，還可以為資源設(shè)置權(quán)重，計(jì)算用量等

什么是cgroup

cgroup全稱是control groups

control groups：控制組，被整合在了linux內(nèi)核當(dāng)中，把進(jìn)程（tasks）放到組里面，對(duì)組設(shè)置權(quán)限，對(duì)進(jìn)程進(jìn)行控制?？梢岳斫鉃橛脩艉徒M的概念，用戶會(huì)繼承它所在組的權(quán)限。

cgroups是linux內(nèi)核中的機(jī)制，這種機(jī)制可以根據(jù)特定的行為把一系列的任務(wù)，子任務(wù)整合或者分離，按照資源劃分的等級(jí)的不同，從而實(shí)現(xiàn)資源統(tǒng)一控制的框架，cgroup可以控制、限制、隔離進(jìn)程所需要的物理資源，包括cpu、內(nèi)存、IO，為容器虛擬化提供了最基本的保證，是構(gòu)建docker一系列虛擬化的管理工具

對(duì)于開發(fā)cgroup的特點(diǎn)

API：實(shí)現(xiàn)管理

cgroup管理可以管理到線程界別

所有線程功能都是subsystem（子系統(tǒng)）統(tǒng)一的管理方式

子進(jìn)程和父進(jìn)程在一個(gè)cgroup里面，只需要控制父進(jìn)程就可以

cgroup的作用

cgroup的內(nèi)核通過(guò)hook鉤子來(lái)實(shí)現(xiàn)管理進(jìn)程資源，提供了一個(gè)統(tǒng)一的接口，從單個(gè)進(jìn)程的資源控制到操作系統(tǒng)層面的虛擬卡的過(guò)渡

cgroup提供了四個(gè)功能：

1. 資源控制：cgroup通過(guò)進(jìn)程組對(duì)資源總額進(jìn)行限制。如：程序使用內(nèi)存時(shí)，要為程序設(shè)定可以使用主機(jī)的多少內(nèi)存，也叫作限額
2. 優(yōu)先級(jí)分配：使用硬件的權(quán)重值。當(dāng)兩個(gè)程序都需要進(jìn)程讀取cpu，哪個(gè)先哪個(gè)后，通過(guò)優(yōu)先級(jí)來(lái)進(jìn)行控制
3. 資源統(tǒng)計(jì)：可以統(tǒng)計(jì)硬件資源的用量，如：cpu、內(nèi)存…使用了多長(zhǎng)時(shí)間
4. 進(jìn)程控制：可以對(duì)進(jìn)程組實(shí)現(xiàn)掛起/恢復(fù)的操作，

術(shù)語(yǔ)表

• task：表示系統(tǒng)中的某一個(gè)進(jìn)程—PID
• cgroup：資源控制，以控制組（cgroup）為單位實(shí)現(xiàn)，cgroup中有都是task，可以有多個(gè)cgroup組，可以限制不同的內(nèi)容，組名不能相同。
• subsystem：子系統(tǒng)。資源調(diào)度控制器。具體控制內(nèi)容。如：cpu的子系統(tǒng)控制cpu的時(shí)間分配，內(nèi)存的子系統(tǒng)可以控制某個(gè)cgroup內(nèi)的內(nèi)存使用量，硬盤的子系統(tǒng)，可以控制硬盤的讀寫等等。
• hierarchy：層級(jí)樹，一堆cgroup構(gòu)成，包含多個(gè)cgroup的叫層級(jí)樹，，每個(gè)hierarchy通過(guò)綁定的子系統(tǒng)對(duì)資源進(jìn)行調(diào)度，可以包含0個(gè)或多個(gè)子節(jié)點(diǎn)，子節(jié)點(diǎn)繼承父節(jié)點(diǎn)的屬性，整個(gè)系統(tǒng)可以有多個(gè)hierarchy，是一個(gè)邏輯概念

關(guān)系：一個(gè)cgroup里可以有多個(gè)task，subsystem相當(dāng)于控制cgroup限制的類型， hierarchy里可以有多個(gè)cgroup，一個(gè)系統(tǒng)可以有多個(gè)hierarchy。

層級(jí)樹的四大規(guī)則

傳統(tǒng)的進(jìn)程啟動(dòng)，是以init為根節(jié)點(diǎn)，也叫父進(jìn)程，由它來(lái)創(chuàng)建子進(jìn)程，作為子節(jié)點(diǎn)，而每個(gè)子節(jié)點(diǎn)還可以創(chuàng)建新的子節(jié)點(diǎn)，這樣構(gòu)成了樹狀結(jié)構(gòu)。而cgroup的結(jié)構(gòu)跟他類似的。子節(jié)點(diǎn)繼承父節(jié)點(diǎn)的屬性。他們最大的不同在于，系統(tǒng)的cgroup構(gòu)成的層級(jí)樹允許有多個(gè)存在，如果進(jìn)程模型是init為根節(jié)點(diǎn)形成一個(gè)樹，那cgroup的模型由多個(gè)層級(jí)樹來(lái)構(gòu)成。

如果只有一個(gè)層級(jí)樹，所有的task都會(huì)受到一個(gè)subsystem的相同的限制，會(huì)給不需要這種限制的task造成麻煩

1.同一個(gè)層級(jí)樹（hierarchy）可以附加一個(gè)或多個(gè)子系統(tǒng)（subsystem）

可以看到在一個(gè)層級(jí)樹中，有一個(gè)cpu_mem_cg的cgroup組下還有兩個(gè)子節(jié)點(diǎn)cg1和cg2，如圖所示，也就意味著在cpu_mem_cg的組中，附加了cpu和mem內(nèi)存兩個(gè)子系統(tǒng)，同時(shí)來(lái)控制cg1和cg2的cpu和內(nèi)存的硬件資源使用

2.一個(gè)子系統(tǒng)（subsystem）可以附加到多個(gè)層級(jí)樹（hierarchy）中，但是僅僅是可以附加到多個(gè)沒(méi)有任何子系統(tǒng)的層級(jí)樹中。

如圖所示，cpu子系統(tǒng)先附加到層級(jí)樹A上，同時(shí)就不能附加到層級(jí)樹B上，因?yàn)锽上已經(jīng)有了一個(gè)mem子系統(tǒng)，如果B和A同時(shí)都是沒(méi)有任何子系統(tǒng)時(shí)，這時(shí)，cpu子系統(tǒng)可以同時(shí)附加到A和B兩個(gè)層級(jí)樹中

言外之意就是，如果多個(gè)層級(jí)樹中都沒(méi)有子系統(tǒng)，這個(gè)時(shí)候一個(gè)cpu子系統(tǒng)依次可以附加到這些層級(jí)樹中

3.一個(gè)進(jìn)程（task）不能屬于同一個(gè)層級(jí)樹（hierarchy）的不同cgroup

系統(tǒng)每次新建一個(gè)層級(jí)樹（hierarchy）時(shí)，默認(rèn)的構(gòu)成了新的層級(jí)樹的初始化的cgroup，這個(gè)cgroup被稱為root cgroup，對(duì)于你自己成功的層級(jí)樹（hierarchy）來(lái)說(shuō)，task只能存在這個(gè)層級(jí)樹的一個(gè)cgroup當(dāng)中，意思就是一個(gè)層級(jí)樹中不能出現(xiàn)兩個(gè)相同的task，但是它可以存在不同的層級(jí)樹中的其他cgroup。

如果要將一個(gè)層級(jí)樹cgroup中的task添加到這個(gè)層級(jí)樹的其他cgroup時(shí)，會(huì)被從之前task所在的cgroup移除

如以上圖中示例：

httpd已經(jīng)加入到層級(jí)樹（hierarchy）A中的cg1中，且pid為58950，此時(shí)就不能將這個(gè)httpd進(jìn)程放入到cg2中，不然cg1中的httpd進(jìn)程就會(huì)被刪除，但是可以放到層級(jí)樹（hierarchy）B的cg3控制組中

其實(shí)是為了防止出現(xiàn)進(jìn)程矛盾，如：在層級(jí)樹A中的cg1中存在httpd進(jìn)程，這時(shí)cpu對(duì)cg1的限制使用率為30%，cg2的限制使用率為50%，如果再將httpd進(jìn)程添加到cg2中，這時(shí)httpd的cpu使用率限制就有了矛盾。

4.剛fork出的子進(jìn)程在初始狀態(tài)與父進(jìn)程處于同一個(gè)cgroup

進(jìn)程task新開的一個(gè)子進(jìn)程（child_task）默認(rèn)是和原來(lái)的task在同一個(gè)cgroup中，但是child_task允許被移除到該層級(jí)樹的其他不同的cgroup中。

當(dāng)fork剛完成之后，父進(jìn)程和子進(jìn)程是完全獨(dú)立的

如圖中所示中，httpd58950進(jìn)程，當(dāng)有人訪問(wèn)時(shí)，會(huì)fork出另外一個(gè)子進(jìn)程httpd58951，這個(gè)時(shí)候默認(rèn)httpd58951和httpd58950都在cg1中，他們的關(guān)系也是父子進(jìn)程，httpd58951是可以移動(dòng)到cg2中，這時(shí)候就改變了他們的關(guān)系，都變?yōu)榱霜?dú)立的進(jìn)程。

Subsystem子系統(tǒng)

subsystem究竟可以控制什么東西

通過(guò)以下的操作來(lái)驗(yàn)證

[root@localhost ~]# yum -y install libcgroup-tools
安裝這個(gè)工具后就看可以通過(guò)使用cgroup命令來(lái)查看

列出系統(tǒng)中所有的cgroup控制組

[root@localhost ~]# lscgroup
net_cls,net_prio:/
freezer:/
hugetlb:/
cpu,cpuacct:/
cpu,cpuacct:/machine.slice
cpu,cpuacct:/user.slice
cpu,cpuacct:/system.slice
cpu,cpuacct:/system.slice/network.service
cpu,cpuacct:/system.slice/docker.service
...

查看subsystem可以控制的硬件

[root@localhost ~]# lssubsys -a
cpuset
cpu,cpuacct
memory
devices
freezer
net_cls,net_prio
blkio
perf_event
hugetlb
pids

以上查看到的，有存在的對(duì)應(yīng)目錄，/sys/fs/cgroup

[root@localhost ~]# ll /sys/fs/cgroup/
total 0
drwxr-xr-x. 5 root root  0 Mar 25 04:50 blkio
lrwxrwxrwx. 1 root root 11 Mar 25 04:50 cpu -> cpu,cpuacct
lrwxrwxrwx. 1 root root 11 Mar 25 04:50 cpuacct -> cpu,cpuacct
drwxr-xr-x. 5 root root  0 Mar 25 04:50 cpu,cpuacct
drwxr-xr-x. 2 root root  0 Mar 25 04:50 cpuset
drwxr-xr-x. 5 root root  0 Mar 25 04:50 devices
drwxr-xr-x. 2 root root  0 Mar 25 04:50 freezer
drwxr-xr-x. 2 root root  0 Mar 25 04:50 hugetlb
drwxr-xr-x. 5 root root  0 Mar 25 04:50 memory
lrwxrwxrwx. 1 root root 16 Mar 25 04:50 net_cls -> net_cls,net_prio
drwxr-xr-x. 2 root root  0 Mar 25 04:50 net_cls,net_prio
lrwxrwxrwx. 1 root root 16 Mar 25 04:50 net_prio -> net_cls,net_prio
drwxr-xr-x. 2 root root  0 Mar 25 04:50 perf_event
drwxr-xr-x. 5 root root  0 Mar 25 04:50 pids
drwxr-xr-x. 5 root root  0 Mar 25 04:50 systemd

可以看到目錄中的內(nèi)容是比命令查看到的多，是因?yàn)橛袔讉€(gè)軟鏈接文件

# 以下三個(gè)都屬于cpu,cpuacct
cpu -> cpu,cpuacct
cpuacct -> cpu,cpuacct
cpu,cpuacct
# 以下三個(gè)都屬于net_cls,net_prio
net_cls -> net_cls,net_prio
net_prio -> net_cls,net_prio
net_cls,net_prio

Subsystem可以控制的內(nèi)容分別代表什么