內核中強大的工具cgroup，不僅可以限制被NameSpace隔離起來的資源，還可以為資源設置權重，計算用量等

什么是cgroup

cgroup全稱是control groups

control groups：控制組，被整合在了linux內核當中，把進程（tasks）放到組里面，對組設置權限，對進程進行控制。可以理解為用戶和組的概念，用戶會繼承它所在組的權限。

cgroups是linux內核中的機制，這種機制可以根據(jù)特定的行為把一系列的任務，子任務整合或者分離，按照資源劃分的等級的不同，從而實現(xiàn)資源統(tǒng)一控制的框架，cgroup可以控制、限制、隔離進程所需要的物理資源，包括cpu、內存、IO，為容器虛擬化提供了最基本的保證，是構建docker一系列虛擬化的管理工具

對于開發(fā)cgroup的特點

API：實現(xiàn)管理

cgroup管理可以管理到線程界別

所有線程功能都是subsystem（子系統(tǒng)）統(tǒng)一的管理方式

子進程和父進程在一個cgroup里面，只需要控制父進程就可以

cgroup的作用

cgroup的內核通過hook鉤子來實現(xiàn)管理進程資源，提供了一個統(tǒng)一的接口，從單個進程的資源控制到操作系統(tǒng)層面的虛擬卡的過渡

cgroup提供了四個功能：

1. 資源控制：cgroup通過進程組對資源總額進行限制。如：程序使用內存時，要為程序設定可以使用主機的多少內存，也叫作限額
2. 優(yōu)先級分配：使用硬件的權重值。當兩個程序都需要進程讀取cpu，哪個先哪個后，通過優(yōu)先級來進行控制
3. 資源統(tǒng)計：可以統(tǒng)計硬件資源的用量，如：cpu、內存…使用了多長時間
4. 進程控制：可以對進程組實現(xiàn)掛起/恢復的操作，

術語表

• task：表示系統(tǒng)中的某一個進程—PID
• cgroup：資源控制，以控制組（cgroup）為單位實現(xiàn)，cgroup中有都是task，可以有多個cgroup組，可以限制不同的內容，組名不能相同。
• subsystem：子系統(tǒng)。資源調度控制器。具體控制內容。如：cpu的子系統(tǒng)控制cpu的時間分配，內存的子系統(tǒng)可以控制某個cgroup內的內存使用量，硬盤的子系統(tǒng)，可以控制硬盤的讀寫等等。
• hierarchy：層級樹，一堆cgroup構成，包含多個cgroup的叫層級樹，，每個hierarchy通過綁定的子系統(tǒng)對資源進行調度，可以包含0個或多個子節(jié)點，子節(jié)點繼承父節(jié)點的屬性，整個系統(tǒng)可以有多個hierarchy，是一個邏輯概念

關系：一個cgroup里可以有多個task，subsystem相當于控制cgroup限制的類型， hierarchy里可以有多個cgroup，一個系統(tǒng)可以有多個hierarchy。

層級樹的四大規(guī)則

傳統(tǒng)的進程啟動，是以init為根節(jié)點，也叫父進程，由它來創(chuàng)建子進程，作為子節(jié)點，而每個子節(jié)點還可以創(chuàng)建新的子節(jié)點，這樣構成了樹狀結構。而cgroup的結構跟他類似的。子節(jié)點繼承父節(jié)點的屬性。他們最大的不同在于，系統(tǒng)的cgroup構成的層級樹允許有多個存在，如果進程模型是init為根節(jié)點形成一個樹，那cgroup的模型由多個層級樹來構成。

如果只有一個層級樹，所有的task都會受到一個subsystem的相同的限制，會給不需要這種限制的task造成麻煩

1.同一個層級樹（hierarchy）可以附加一個或多個子系統(tǒng)（subsystem）

可以看到在一個層級樹中，有一個cpu_mem_cg的cgroup組下還有兩個子節(jié)點cg1和cg2，如圖所示，也就意味著在cpu_mem_cg的組中，附加了cpu和mem內存兩個子系統(tǒng)，同時來控制cg1和cg2的cpu和內存的硬件資源使用

2.一個子系統(tǒng)（subsystem）可以附加到多個層級樹（hierarchy）中，但是僅僅是可以附加到多個沒有任何子系統(tǒng)的層級樹中。

如圖所示，cpu子系統(tǒng)先附加到層級樹A上，同時就不能附加到層級樹B上，因為B上已經有了一個mem子系統(tǒng)，如果B和A同時都是沒有任何子系統(tǒng)時，這時，cpu子系統(tǒng)可以同時附加到A和B兩個層級樹中

言外之意就是，如果多個層級樹中都沒有子系統(tǒng)，這個時候一個cpu子系統(tǒng)依次可以附加到這些層級樹中

3.一個進程（task）不能屬于同一個層級樹（hierarchy）的不同cgroup

系統(tǒng)每次新建一個層級樹（hierarchy）時，默認的構成了新的層級樹的初始化的cgroup，這個cgroup被稱為root cgroup，對于你自己成功的層級樹（hierarchy）來說，task只能存在這個層級樹的一個cgroup當中，意思就是一個層級樹中不能出現(xiàn)兩個相同的task，但是它可以存在不同的層級樹中的其他cgroup。

如果要將一個層級樹cgroup中的task添加到這個層級樹的其他cgroup時，會被從之前task所在的cgroup移除

如以上圖中示例：

httpd已經加入到層級樹（hierarchy）A中的cg1中，且pid為58950，此時就不能將這個httpd進程放入到cg2中，不然cg1中的httpd進程就會被刪除，但是可以放到層級樹（hierarchy）B的cg3控制組中

其實是為了防止出現(xiàn)進程矛盾，如：在層級樹A中的cg1中存在httpd進程，這時cpu對cg1的限制使用率為30%，cg2的限制使用率為50%，如果再將httpd進程添加到cg2中，這時httpd的cpu使用率限制就有了矛盾。

4.剛fork出的子進程在初始狀態(tài)與父進程處于同一個cgroup

進程task新開的一個子進程（child_task）默認是和原來的task在同一個cgroup中，但是child_task允許被移除到該層級樹的其他不同的cgroup中。

當fork剛完成之后，父進程和子進程是完全獨立的

如圖中所示中，httpd58950進程，當有人訪問時，會fork出另外一個子進程httpd58951，這個時候默認httpd58951和httpd58950都在cg1中，他們的關系也是父子進程，httpd58951是可以移動到cg2中，這時候就改變了他們的關系，都變?yōu)榱霜毩⒌倪M程。

Subsystem子系統(tǒng)

subsystem究竟可以控制什么東西

通過以下的操作來驗證

[root@localhost ~]# yum -y install libcgroup-tools
安裝這個工具后就看可以通過使用cgroup命令來查看

列出系統(tǒng)中所有的cgroup控制組

[root@localhost ~]# lscgroup
net_cls,net_prio:/
freezer:/
hugetlb:/
cpu,cpuacct:/
cpu,cpuacct:/machine.slice
cpu,cpuacct:/user.slice
cpu,cpuacct:/system.slice
cpu,cpuacct:/system.slice/network.service
cpu,cpuacct:/system.slice/docker.service
...

查看subsystem可以控制的硬件

[root@localhost ~]# lssubsys -a
cpuset
cpu,cpuacct
memory
devices
freezer
net_cls,net_prio
blkio
perf_event
hugetlb
pids

以上查看到的，有存在的對應目錄，/sys/fs/cgroup

[root@localhost ~]# ll /sys/fs/cgroup/
total 0
drwxr-xr-x. 5 root root  0 Mar 25 04:50 blkio
lrwxrwxrwx. 1 root root 11 Mar 25 04:50 cpu -> cpu,cpuacct
lrwxrwxrwx. 1 root root 11 Mar 25 04:50 cpuacct -> cpu,cpuacct
drwxr-xr-x. 5 root root  0 Mar 25 04:50 cpu,cpuacct
drwxr-xr-x. 2 root root  0 Mar 25 04:50 cpuset
drwxr-xr-x. 5 root root  0 Mar 25 04:50 devices
drwxr-xr-x. 2 root root  0 Mar 25 04:50 freezer
drwxr-xr-x. 2 root root  0 Mar 25 04:50 hugetlb
drwxr-xr-x. 5 root root  0 Mar 25 04:50 memory
lrwxrwxrwx. 1 root root 16 Mar 25 04:50 net_cls -> net_cls,net_prio
drwxr-xr-x. 2 root root  0 Mar 25 04:50 net_cls,net_prio
lrwxrwxrwx. 1 root root 16 Mar 25 04:50 net_prio -> net_cls,net_prio
drwxr-xr-x. 2 root root  0 Mar 25 04:50 perf_event
drwxr-xr-x. 5 root root  0 Mar 25 04:50 pids
drwxr-xr-x. 5 root root  0 Mar 25 04:50 systemd

可以看到目錄中的內容是比命令查看到的多，是因為有幾個軟鏈接文件

# 以下三個都屬于cpu,cpuacct
cpu -> cpu,cpuacct
cpuacct -> cpu,cpuacct
cpu,cpuacct
# 以下三個都屬于net_cls,net_prio
net_cls -> net_cls,net_prio
net_prio -> net_cls,net_prio
net_cls,net_prio

Subsystem可以控制的內容分別代表什么