MySQL数据表合并去重的简单实现方法

场景：

爬取的数据生成数据表，结构与另一个主表相同，需要进行合并+去重

解决：（直接举例）

首先创建两个表pep，pep2，其中pep是主表

create table if not exists `pep/pep2`(
`id` int unsigned auto_increment,
`no` varchar(100) not null,
primary key ( `id` )
)engine=innodb default charset=utf8;

然后向pep中插入两条数据，pep2中插入一条与pep中相同的一条数据

insert into pep(no) values('abc');
insert into pep(no) values('caa');

insert into pep2(no) values('abc');

将pep2的数据插入pep中

insert into pep (no) select no from pep2;

分组去重创建新的临时表tmp

create table tmp select id,no from pep group by no;

注意：创建完这个表的id字段类型已经不是主键自增

 可能也会报错
 ```syntax error or access violation: 1055 expression #1 of select 
 list is not in group by clause and contains nonaggregated 
 column 'xxx.y.zzzz' which is not functionally dependent on 
 columns in group by clause; this is incompatible with
 sql_mode=only_full_group_by
 ```
 解决：执行以下两个命令：
 ```
 mysql> set global sql_mode='strict_trans_tables,no_zero_in_date,no_zero_date,error_for_division_by_zero,no_auto_create_user,no_engine_substitution';
 
 mysql> set session sql_mode='strict_trans_tables,no_zero_in_date,no_zero_date,error_for_division_by_zero,no_auto_create_user,no_engine_substitution';
 ```

删除pep表，并将tmp表重命名为pep

drop table pep;
alter table tmp rename to pep;

查看desc结构和select * from pep发现id的字段类型变了，这里需要改回原来的类型；

alter table pep add primary key (id);
alter table pep modify id int auto_increment;

还有可以使用join来做去重，更快的还可以添加一个字段（可以是几个字段+起来的的md5值），给这个字段创建一个唯一索引unique，以后插入数据的时候，自动回过滤掉重复的数据。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对的支持。