Linux服务器内存监控—每小时检查&超出发送邮件&重启占用最高的Java程式

简介与优点

使用该脚本能自行判断系统内存使用情况是否超出设定百分比
能在超出预警值时执行重启程式的操作
能记录重启过程，并将具体log邮件发送给指定收信人
可以设定crontab排程，达成每隔一段时间运行一次

准备工作

开启邮箱的smtp功能

这一步博主不会截图做傻瓜教程，但每一步都不会漏，看不懂的小伙伴可以百度找个有图教程。以qq邮箱为例，进入设置->常规->pop3/imap/smtp··->imap/smtp服务，点击开启，会生成一个授权码，把这个授权码保存下来备用

修改mail.rc配置文件

输入以下命令编辑mail.rc文件

vim /etc/mail.rc

在文件末尾追加以下配置内容

set from=[e-mail]              #这里设定发信人的邮箱
set smtp=smtp.qq.com                   #这里设定qq的smtp服务器，其他邮箱可以参考百度
set smtp-auth-user=[e-mail]    #这里设定用户名
set smtp-auth-password=sahflkhsaffshaf #这里设定你上一步保存的授权码
set smtp-auth=login                    #这里设为login
#下面是ssl加密相关的配置
#set smtp-use-starttls 这里是不需要配置的，很多地方没说明，配置了反而会验证失败，所以我注释掉；
set ssl-verify=ignore
set nss-config-dir=/root/.certs

测试邮件是否成功发送

使用以下命令测试邮件是否成功发送,邮箱填你自己的，如果报错请直接百度报错部分解决。

echo "测试邮件正文部分"|mail -s "测试邮件标题部分" [e-mail]

memmonitor.sh

下载地址以下是脚本文件部分，请根据自己的实际情况修改。

#!/bin/bash  
# powered by heicaijun
# 2020/04/27
######################################################
# 以下为配置部分
##############
# 设置的告警值为50%(即使用超过50%的时候告警)。   
mem_warn=0.50
# log记录位置，每天记录在一个log上
datetime=$(date -d "today" +"%y-%m-%d")
log_dir="/home/p4fdc/peakperformance/fwlog/memhistory_${datetime}.log"
mail_temp=/home/p4fdc/peakperformance/memmonitor.log
mail_addr=[e-mail]
#####################################################

# 该函数是启动java程式的函数
function startfw(){
	startresult=`/home/p4fdc/peakperformance/start${fwid}.sh`
	#将release memory ok !记录到log日志中
	data4="[$(date -d "today" +"%y-%m-%d-%h-%m-%s")] 重启程式成功，详细log如下:\n[stop运行结果为:] ${stopresult};\n[start运行结果为:] ${startresult}"
	echo -e "${data4}" >> ${log_dir}
	echo "--->第${restarttime}次释放内存完成 ! " >> ${log_dir}
}
# 该函数是发送邮件的函数
function sendmail(){
	# 将需要发送的内容记录在mailtemp的缓存log中
	echo -e "${data1}\n${data2}\n${data4}" >> ${mail_temp}
	# 将需要发送的内容输出到正文，并将之前缓存的log以附件的形式发送给收信人,-a后接的是附件部分
	echo -e "${data1}\n${data2}\n${data3}\n\n以上，请关注！" | mail -s "${mailtitle}" -a ${mail_temp} ${mail_addr}
	# 发送完成后
	rm -f ${mail_temp}
}

echo "============================" >> ${log_dir}
echo "start memmonitor.sh..." >> ${log_dir}

#系统分配的区总量   
mem_total=`free -m | awk 'nr==2' | awk '{print $2}'`   
  
#当前剩余的大小   
mem_free=`free -m | awk 'nr==2' | awk '{print $4}'`  
   
#当前已使用的used大小   
mem_used=`free -m | awk 'nr==2' | awk '{print  $3}'`   


#则计算当前剩余used所占总量的百分比，用小数来表示，要在小数点前面补一个整数位0   
mem_per=0`echo "scale=2;$mem_used/$mem_total" | bc`
data1="[$(date -d "today" +"%y-%m-%d-%h-%m-%s")] 已使用内存百分比:${mem_per#*.}%，已使用:${mem_used}mb，总内存:${mem_total}mb"  
echo -e $data1 >> ${log_dir}  

#当前占用百分比与告警值进行比较（当大于告警值时会返回1，小于时会返回0 ）   
mem_now=`expr $mem_per \> $mem_warn`   

echo "是否大于告警值[1大于，0小于]:${mem_now}" >> ${log_dir}

#如果当前使用超过50%（上面的返回值等于0），释放内存  
if (($mem_now == 1)); then  
        # 将邮件的标题设置为alarm级别
	mailtitle="[alarm]t4 ap1 out of memory"
	echo -e "超过设定的报警值${mem_warn#*.}%..." >> ${log_dir}
	#获取目前占用内存最高的程式的dfid
	fwid=`ps -eo pid,args --sort=-pmem  |head -n 2|awk 'nr==2' | awk '{print $4}'`
	fwid=${fwid#*_}
	fwmem=`ps -eo pmem --sort=-pmem  |head -n 2|awk 'nr==2'`
	echo -e "${fwid}占用内存达${fwmem}%" >> ${log_dir}

	data2="[$(date -d "today" +"%y-%m-%d-%h-%m-%s")] 超过设定的报警值${mem_warn#*.}%,其中${fwid}占用内存达${fwmem}%,执行重启${fwid}操作"
	#执行重启程式的操作
	echo "开始执行重启${fwid}操作..." >> ${log_dir}
	stopresult=`/home/p4fdc/peakperformance/stop${fwid}.sh -f`
	if [[ $stopresult =~ "successfully" ]]; then
		restarttime="一"
		startfw
		data3="[$(date -d "today" +"%y-%m-%d-%h-%m-%s")] 重启程式成功，详细log请查看附件"
		sendmail
	else
		# 以下多判断了2次，其实一次基本够了，因为配合kill -9基本不会出现杀不掉程式的问题。
		stopresult=`/home/p4fdc/peakperformance/stop${fwid}.sh -f`
		if [[ $stopresult =~ "successfully" ]]; then
			restarttime="二"
			startfw
			data3="[$(date -d "today" +"%y-%m-%d-%h-%m-%s")] 重启程式成功，详细log请查看附件"
			sendmail
		else
			stopresult=`/home/p4fdc/peakperformance/stop${fwid}.sh -f`
			if [[ $stopresult =~ "successfully" ]]; then
				restarttime="三"
				startfw
				data3="[$(date -d "today" +"%y-%m-%d-%h-%m-%s")] 重启程式成功，详细log请查看附件"
				sendmail
			else
				startresult=`/home/p4fdc/peakperformance/start${fwid}.sh`
				data4="[$(date -d "today" +"%y-%m-%d-%h-%m-%s")] 重启程式失败，详细log如下\n[stop运行结果为:] ${stopresult};\n[start运行结果为:] ${startresult}"
				echo "!!!!!!!!!!!!!!!!!!!!!!!!!!!! " >> ${log_dir}
				echo -e "${data4}" >> ${log_dir}
				echo "--->三次尝试释放内存失败，请手动检查 ! " >> ${log_dir}
				echo "!!!!!!!!!!!!!!!!!!!!!!!!!!!! " >> ${log_dir}
				mailtitle="[error]t4 ap1 out of memory"
				data3="[$(date -d "today" +"%y-%m-%d-%h-%m-%s")] 三次尝试释放内存失败，重启程式失败，详细log请查看附件"
				sendmail
			fi
		fi
	fi
fi

echo "============================" >> ${log_dir}

设置crontab排程

在设定crontab排程的时候一定要注意，crontab默认不会加载环境变量，所以在运行java程式的时候，会出现找不到环境变量的问题。所以需要在启动脚本前调用./etc/profile;，另外，由于排程是默认在user目录下运行的，所以当你的脚本出现相对路径的时候可能会出错，所以建议加个cd /脚本目录/脚本.sh;
以下为完整过程

1. 输入以下命令设置排程

crontab -e

2. 在文件末尾追加以下排程

# 以下6段(用空格隔开的)分别代表 分 时 日 月 年 需要运行的代码，*表示匹配所有时间段，30代表30分钟，*/1代表能被1整除的小时。所以以下排程的完整意思是每小时的30分都运行一下memmonitor.sh, 
30 */1 * * * ./etc/profile;cd /home/p4fdc/peakperformance/;/home/p4fdc/peakperformance/memmonitor.sh > /dev/null

原文地址：https://www.cnblogs.com/heicaijun/p/12785448.html