欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  网络运营

shell脚本操作mysql数据库删除重复的数据

程序员文章站 2022-06-23 20:28:07
由于之前的业务,造成数据库上产生了脏数据,写个脚本删除重复的数据。由于是开发测试环境,所以选择任意删除相同uid中的一条。由于每次执行只删除重复数据的一条,需要重复执行,如...

由于之前的业务,造成数据库上产生了脏数据,写个脚本删除重复的数据。由于是开发测试环境,所以选择任意删除相同uid中的一条。由于每次执行只删除重复数据的一条,需要重复执行,如果本轮没有数据被删就ok

#!/bin/sh
# delete all company's duplicate uid
mysql_bin_path=/data/mysql/server/mysql_3306/bin
mysql_sock_path=/data/mysql/server/mysql_3306/tmp
dbuser=dbuser
dbpwd=userpwd
dbhostname=192.168.1.105
port=3306
# get all company_id
for company_id in `${mysql_bin_path}/mysql -u${dbuser} -p${dbpwd} -h ${dbhostname} -p ${port} --socket=${mysql_sock_path}/mysql.sock -e "
  select company_id from company.companypage;"`
do
 if [ $company_id != "company_id" ] ; then
# if [ $company_id -eq 2733 ] ; then 
 suffix=`expr ${company_id} % 100`
 for user_id in `${mysql_bin_path}/mysql -u${dbuser} -p${dbpwd} -h ${dbhostname} -p ${port} --socket=${mysql_sock_path}/mysql.sock -e "
 select user_id from company.company_candidate_${suffix} where company_id=${company_id} and user_id>0 group by company_id, user_id having count(user_id) > 1;"`
 do
 if [ $user_id != "user_id" ] ; then
  ${mysql_bin_path}/mysql -u${dbuser} -p${dbpwd} -h ${dbhostname} -p ${port} --socket=${mysql_sock_path}/mysql.sock -e "
  delete from company.company_candidate_${suffix} where company_id=${company_id} and user_id=${user_id} limit 1;" 
  echo "delete from company_candidate_${suffix} where company_id=${company_id} and user_id=${user_id} limit 1"
 fi
 done
# fi
 fi
done
exit 0

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。如果你想了解更多相关内容请查看下面相关链接