cgroups控制cpu，memory，io使用率 博客分类： linux备忘录 linuxcgroups资源隔离

Cgroups是control groups的缩写，最初由Google工程师提出，后来编进linux内核。
Cgroups是实现IaaS虚拟化(kvm、lxc等)，PaaS容器沙箱(Docker等)的资源管理控制部分的底层基础。

首先来一张来对比下当前进行操作系统资源使用率的技术。


本文将采用三个示例来展示cgroups的作用。

测试环境准备：
1.win7下安装virtualbox，虚拟机中安装了centos6.8.
2.下文将会用到iotop命令进行io使用率的查看，这个版本中没有安装，请在有网络的情况下执行一下命令进行安装：

yum install iotop

3.请确保cgroups服务已经启动了，如果没有请先启动服务，相关命令如下：

service cgconfig status   #查看cgroups服务当前的运行状态
service cgconfig start   #开启cgroups服务
chkconfig cgconfig on   #开启开启启动，如果不想开机自启动时，此处可以不用执行

4.在/cgroup，有如下文件夹，默认是多挂载点的形式，即各个子系统的配置在不同的子文件夹下

[root@bogon ~]# ls /cgroup/
blkio  cpu  cpuacct  cpuset  devices  freezer  memory  net_cls
[root@bogon ~]# 

cgroups管理进程cpu资源

模拟耗cpu很多的脚本：

[root@bogon ~]# cat t1.sh 
#!/bin/bash

x=0;
while [ true ]
do
	x=$x+1
done;

[root@bogon ~]# 

top可以看到这个脚本基本占了100%的cpu资源

[root@bogon foo]# top

top - 22:13:41 up  1:52,  4 users,  load average: 0.99, 1.09, 1.07
Tasks: 187 total,   2 running, 185 sleeping,   0 stopped,   0 zombie
Cpu(s): 97.3%us,  2.0%sy,  0.0%ni,  0.0%id,  0.0%wa,  0.7%hi,  0.0%si,  0.0%st
Mem:   1020076k total,   929336k used,    90740k free,   165328k buffers
Swap:  1257468k total,   202312k used,  1055156k free,   195172k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND            
 3834 root      20   0  103m 1348 1012 R 91.4  0.1   0:11.14 t1.sh              

下面用cgroups控制这个进程的cpu资源

mkdir -p /cgroup/cpu/foo/   #新建一个控制组foo
echo 50000 > /cgroup/cpu/foo/cpu.cfs_quota_us  #将cpu.cfs_quota_us设为50000，相对于cpu.cfs_period_us的100000是50%
echo 3834 > /cgroup/cpu/foo/tasks #将当前的进程号写进这个文件中就能动态控制了，如果要控制多个进程的话，以添加模式写入此文件即可

当时在执行这个命令之前有一个疑问，就是我并没有创建上述几个文件，我只是创建了foo目录，实际上cgroups在你创建这个foo目录的时候已经帮你创建好了。

然后top的实时统计数据如下，cpu占用率将近50%，看来cgroups关于cpu的控制起了效果

[root@bogon foo]# top

top - 22:16:18 up  1:55,  4 users,  load average: 1.40, 1.21, 1.12
Tasks: 183 total,   2 running, 181 sleeping,   0 stopped,   0 zombie
Cpu(s): 52.5%us,  0.7%sy,  0.0%ni, 46.8%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   1020076k total,   929392k used,    90684k free,   165572k buffers
Swap:  1257468k total,   193008k used,  1064460k free,   211440k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND            
 3834 root      20   0  104m 1808 1012 R 49.9  0.2   2:24.99 t1.sh              

cgroups管理进程内存资源

模拟耗内存很多的脚本：

[root@bogon ~]# cat t2.sh 
#!/bin/bash

x="a";

while [ true ]
do
	x=$x$x
done;
[root@bogon ~]# 

top看内存占用持续上升，直至内存耗尽（此处模拟了好几次，因此伤处脚本运行太快了，导致机器卡死了，所以就不贴出对应的结果了）
下面用cgroups控制这个进程的内存资源

mkdir -p /cgroup/memory/foo
echo 1048576 >  /cgroup/memory/foo/memory.limit_in_bytes   #分配1MB的内存给这个控制组
echo 3865 > /cgroup/memory/foo/tasks #当前t2.sh运行时的进程id

[root@bogon foo]# top

top - 22:29:10 up  2:08,  4 users,  load average: 0.96, 1.16, 1.21
Tasks: 184 total,   1 running, 183 sleeping,   0 stopped,   0 zombie
Cpu(s):  2.2%us,  2.2%sy,  0.0%ni,  0.0%id, 94.5%wa,  0.7%hi,  0.4%si,  0.0%st
Mem:   1020076k total,   755616k used,   264460k free,     8812k buffers
Swap:  1257468k total,   543968k used,   713500k free,   189176k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND            
 3878 root      20   0  743m 129m 1020 D  4.3 13.0   0:19.92 t2.sh              

从上述结果可以看出来，实际上t2.sh进程的运行状态已经不正常了（D），一会又是S，一会又是D，其实表明状态异常。
有人说时间长了，会被cgroups干掉，但是我模拟了好长时间都没有出现这个情况，仅仅是进程状态异常。
针对内存的配置里面有很多的配置文件如下：

[root@bogon ~]# ls /cgroup/memory/foo/
cgroup.event_control             memory.move_charge_at_immigrate
cgroup.procs                     memory.oom_control
memory.failcnt                   memory.soft_limit_in_bytes
memory.force_empty               memory.stat
memory.limit_in_bytes            memory.swappiness
memory.max_usage_in_bytes        memory.usage_in_bytes
memory.memsw.failcnt             memory.use_hierarchy
memory.memsw.limit_in_bytes      notify_on_release
memory.memsw.max_usage_in_bytes  tasks
memory.memsw.usage_in_bytes
[root@bogon ~]# 

cgroups管理进程io资源

模拟一个耗io的脚本

[root@bogon ~]# cat t3.sh 
#!/bin/bash

dd if=/dev/sda of=/dev/null

[root@bogon ~]# 

通过iotop看io占用情况，磁盘速度

下面用cgroups控制这个进程的io资源

mkdir -p /cgroup/blkio/foo

echo '8:0   1048576' >  /cgroup/blkio/foo/blkio.throttle.read_bps_device
#8:0对应主设备号和副设备号，可以通过ls -l /dev/sda查看
echo 4023 > /cgroup/blkio/foo/tasks

再通过iotop看，确实将读速度降到了1M/s（因为截图不太方便，所以图中的进程号对不上，不过不影响阅读）

跟cpu和memeory一样，io也有很多配置在/cgroup/blkio/foo/

[root@bogon ~]# ls /cgroup/blkio/foo/
blkio.io_merged         blkio.sectors                     blkio.time
blkio.io_queued         blkio.throttle.io_service_bytes   blkio.weight
blkio.io_service_bytes  blkio.throttle.io_serviced        blkio.weight_device
blkio.io_serviced       blkio.throttle.read_bps_device    cgroup.event_control
blkio.io_service_time   blkio.throttle.read_iops_device   cgroup.procs
blkio.io_wait_time      blkio.throttle.write_bps_device   notify_on_release
blkio.reset_stats       blkio.throttle.write_iops_device  tasks
[root@bogon ~]# 

参考：http://www.cnblogs.com/yanghuahui/p/3751826.html