随着人员逐渐多，并且处理的事情越来越多，导致服务经常出现io占用高，cpu占用高，内存占用高三种情况。本文通过crontab的方式定时进行查询和设置，来实现定期对服务的资源限制，从而确保服务不会突然卡死的情况出现
在一个服务器上，多人进行编辑，编译时，通常情况下，编译的时候会把cpu，memery，io占满，三者只要有其一出现满负载，则打开的vim程序会出现，卡顿，杀掉，卡死。
对于cpu满负载而言，通常是vim程序得不到该有的调度，主要原因是vim的PRI和NI是80和0，而常规程序的优先级也是80和0，此时vim程序卡顿
对于memory满负载而言，通常是系统内存不足时，不得已情况下，通过out_of_memory函数选择一个oom score最低的程序进行杀掉，vim通常会是得分较低的进程。主要原因是vim的score是0，而常规程序的score也是0。此时vim可能被杀死
对于io负载而言，通常是io状态是陷入并且阻塞的，如果io负载高，则短时间内所有进程无法都被block住，无法被调度，此时vim出现卡死
所以，为了解决编译和编辑时的服务器负载问题，需要通过一个脚本来实现对cpu，io，memory的控制，从而使得编辑程序vim得到该有的调度，而编译程序也能正常运行。
为了实现上述的功能，需要借助cpulimit，cgroup， ionice三个工具
cpulimit是一个限制cpu使用率的工具，我们可以通过-p参数指定进程的pid，通过-l参数设置使用率百分比，从而限制进程使用率。介绍如下：
-p, --pid=N pid of the process -l, --limit=N percentage of cpu allowed from 1 up. Usually 1 - 4800, but can be higher on multi-core CPUs (mandatory)
所以，对于cpu满负载的情况，通过cpulimit限制当前最高使用率的进程，从而对突出的程序进行有效控制。让系统有办法调度到其他的程序
cgroup是用作资源管理的内核框架，它作为文件系统存放于linux系统中，我们可以通过cgroup设置某个进程的内存使用情况，具体如下：
/sys/fs/cgroup/memory/kylin_limit/memory.limit_in_bytes
所以，对于io满负载的情况，通过cgroups设置memory.limit_in_bytes来限制高占用进程的内存占用率，从而对高内存占用程序进行有效控制，让系统其他进程能够正常申请到内存。
不过值得注意的是，对于进程的内存使用限制可能导致进程运行失败，所以通常我们在服务器上设置单个进程使用不超过总内存的10%，通常服务器的总内存为64G，则单个进程使用内存不应该超过6.4G。通常来说，单个进程的内存使用量如果超过6.4G已经存在异常。所以没有问题。
但是如果是小内存的设备，通过memory.limit_in_bytes来限制指定进程的内存使用率并不可取，假设在内存4G的机器上，我们限制进程的内存使用率仍是10%，则单个进程使用内存不超过400M，又由于很多程序可能使用内存大于400M（属于正常现象），这会导致进程的oom，所以我们应该做的是通过增大swap来将内存压力转换为io压力。
通过swap来转换内存压力为io压力的方法如下：
mkswap /dev/sda1 swapon /dev/sda1
如果我们不是真实的设备，可以将swap开启在img文件上，如下
dd if=/dev/zero of=/tmp/swap bs=512 count=20480000 mkswap /tmp/swap swapon /tmp/swap
ionice是用作调整进程的io优先级的命令，通过ionice命令，可以设置指定进程作为实时的io调度，从而加速系统对某些进程的io行为。主要如下：
ionice -c 2 -n 7 -p ${pid} # 设置pid进程的调度为尽力，并优先级设置为7 ionice -c 1 -p ${pid} # 设置pid进程的调度为实时
这里-c可以设置优先级，-n设置优先级，-p设置pid，介绍如下
用法： ionice [选项] -p <pid>... ionice [选项] -P <pgid>... ionice [选项] -u <uid>... ionice [选项] <命令> 设置或更改进程的 IO 调度类别和优先级。 选项： -c, --class <类别> 调度类别的名称或数值 0: 无, 1: 实时, 2: 尽力, 3: 空闲 -n, --classdata <数字> 指定调度类别的优先级(0..7)，只针对 “实时”和“尽力”类别 -p, --pid <pid>... 对这些已运行的进程操作 -P, --pgid <pgrp>... 对这些组中已运行的进程操作 -t, --ignore 忽略失败 -u, --uid <uid>... 对属于这些用户的已运行进程操作 -h, --help 显示此帮助 -V, --version 显示版本
所以，对于满io负载的情况，可以通过ionice命令对io刷盘进程如flush进行实时调度，对io使用率高的程序使用优先级最低为7的尽力调度，从而可以使得vim的写操作可以正常的flush，并且可能从普通进程上抢到io的调度。
根据上述的介绍，我们可以通过三个工具完成对应的功能，现在介绍如何实施
为了限制高占用的进程，我们需要在系统长时间占用高的情况下找到占用高的进程，因为某些短时进程会占用很高（例如top后一直按enter来一直刷新），这些我们应该忽略。所以需要先获取平均负载，如下：
load=`cat /proc/loadavg | cut -f1 -d' '`
上面可以获取1分钟内的平均负载，如果平均负载大于100，则认为1分钟内，进程占用高，可能在后台执行编译动作
declare -i loadavg=`echo "${load} * 100" | bc | awk -F. '{print $1}'` if (( ${loadavg} >= ${LOAD_CPU_THRESHOLD} ))
此时我们可以通过ps命令找出最高占用的那个进程
high_exe=`ps -eo user,pid,pcpu,pmem,args --sort=-pcpu |sed -n 2p | xargs`
根据ps的结果，可以获取进程的pid和name，如下
pid=`echo ${high_exe} | awk '{print $2}'` pid_name=`echo ${high_exe} | awk '{print $5}'`
根据pid值，我们可以知道是谁连接的ssh客户端，找到ip如下
who=`cat /proc/${pid}/environ | tr '\0' '\n' | grep SSH_CONNECTION | cut -d= -f2 | awk '{print $1":" $2}'`
同时通过cpulimit设置此进程的占用率不超过100%
cpulimit -p ${pid} -l 100 > /dev/null 2>&1 &
至此，如果crontab每一10分钟轮询一次，系统将查询最近1分钟内是否负载高，如果负载高，则找出当前占用最高的进程，设置其占用率不超过100%
为了限制高内存占用的程序，我们需要在系统剩余内存不足时找出内存占用最高的进程，然后将其设置为总内存的10%，从而让其他程序有可能申请到内存。
基于此思路，我们需要判断当前内存剩余量，如下
declare -i free=`free -m | sed -n 2p | xargs | cut -f7 -d' '`
上面可以获取到剩余内存，当然，同样通过free命令，我们也可以获取到总共内存，我们需要判断一下剩余内存是否小于总共内存的比例即可，具体比例可以自行设置，建议10%
如果剩余内存小于总共内存的10%，我们需要找到高内存的进程，如下
high_mem_exe=`ps -eo pid,pcpu,pmem,args --sort=-pmem |sed -n 2p | xargs`
同样的，通过上面可以知道高内存占用进程的pid和name，以及谁ssh登录的，如下
pid=`echo ${high_mem_exe} | awk '{print $1}'` pid_name=`echo ${high_mem_exe} | awk '{print $4}'` who=`cat /proc/${pid}/environ | tr '\0' '\n' | grep SSH_CONNECTION | cut -d= -f2 | awk '{print $1":" $2}'`
我们知道pid之后，便可以通过cgroup设置进程的最大内存使用量
[ ! -d /sys/fs/cgroup/memory/kylin_limit ] && mkdir /sys/fs/cgroup/memory/kylin_limit echo ${pid} > /sys/fs/cgroup/memory/kylin_limit/tasks echo $(expr $total \/ 10 \* 1024) > /sys/fs/cgroup/memory/kylin_limit/memory.limit_in_bytes
这里total是总内存大小，可以通过free命令获取，我们可以设置cgroup下的kylin_limit组的内存使用率不能超过总内存的10%
至此，如果crontab每10分钟轮询一次，系统将查询当前剩余内存，如果剩余内存不足总内存的某个比例，则可以通过cgroups设置最高内存占用率的进程其最大内存使用量不超过总内存的10%
程序的io都是block的，因为谁也不知道陷入io处理需要多久时间，所以通常如果io存在瓶颈，大部分情况下都是cpu在等io，从而导致vim卡死的情况
通常来说，对于磁盘来说，刷盘是由内核线程[kworker/uxx:x+flush-x:xxx]实现，如果是文件系统write，也可能是mount进程中实现。本文只讨论常出现的flush
首先我们需要找到io占用率高的进程，如下
io_message=`iotop -n 1 -b -o | grep -v WRITE | xargs`
从上述的信息获取到io占用率和pid以及name
percent=`echo ${io_message} | awk '{print $10}'` name=`echo ${io_message} | awk '{print $12}'` pid=`echo ${io_message} | awk '{print $1}'`
如果进程是flush，则当前io压力最大的是刷盘线程
if [[ ${pid_name} =~ "kworker" ]] then if [[ ${pid_name} =~ "flush" ]] then
此时我们可以通过ionice命令设置flush线程为实时io调度，如下
ionice -c 1 -p ${pid}
如果io占用率超过99%了，则说明有io占用很高的进程，如下
echo ${percent} | egrep "^99.**" > /dev/null
此时我们可以将此进程设置为尽力，优先级放最低为7，此时程序能够正常跑即可，相当于以时间换内存空间
ionice -c 2 -n 7 -p ${pid}
至此，如果crontab每10分钟轮询一次，系统将找到io占用高的进程，先判断是否为flush，如果是flush则调整为实时，如果不是，则是其他进程io占用高，此时将其他进程调整为尽力，优先级最低为7
当然，如果io密集型的任务多，我们可以让其1分钟运行一次，在不改变crontab的前提下，可以做个循环如下：
for((i=0;i<10;i++)); do io_policy ret=$? if [ "${ret}"x == "1" ] then sleep 60 fi done
对于上述的策略，我们可以10分钟运行一次，首先将其脚本命名为kylin-server-status.sh，通过crontab -e编写如下：
*/10 * * * * /usr/local/bin/kylin-server-status.sh
至此，服务器会每10分钟轮询一次