MYSQL NOT IN优化
发布网友
发布时间:2022-04-10 14:25
我来回答
共4个回答
热心网友
时间:2022-04-10 15:55
算法上存在很大问题。我们先来分析该算法的执行次数。
按照你的方法,record表中的id字段要全部查询一遍,也就是2W次查询,而每次查询,最坏
情况下需要与offline_record中的rec.id进行4W次比较,这又导致offline_record表的4W次
查询(取rec_id )。假设满足
a.* from record a where a.id not in(select b.rec_id from offline_record);
条件的记录一共有N条,那么,最坏情况下,该算法所做的查询次数为:
2W(取record.id)+2W*4W(每取一次record.id就要取一次offline_record.rec_id且offline_record的最后一条数据满足条件)+N(每
条满足条件的记录需要再在record中取该记录全部数据)
所做的比较次数为:
2W*4w
考虑最好情况下的效率,该算法所做的查询次数为:
2W(取record.id)+2W*1(每取一次record.id就要取一次offline_record.rec_id且offline_record的第一条数据满足条件)+N(N(每
条满足条件的记录需要再在record中取该记录全部数据)
所做的比较次数为:
2W*1
因此,该算法平均查询次数为:
2W+(4w*2w+1)*2w/2+N ->8*10^12
天文数字!这还不考虑将近4亿次的平均比较次数,所以你的执行效率当然低了
下面,我们对该算法来进行优化:
算法主要解决的问题是,取表record中id不等于offline_record.rec_id的数据。现假定id为record的主键(你的问题没有指明,但是你会看到无论id是否主键都不影响分析),设计算法如下:
1、取offline_record.rec_id的结果为集合,并对该集合进行排序,设最终生成的集合为A 。则,查询数据库4w次,生成集合的算法按照O(N*ln N)的效率来算平均情况下比较O(4W*ln 4w),约等于64W次,排序次数按照O(N*ln N)的效率来算平均情况下比较O(4W*ln 4w),约等于64W次。
2、顺序取record中的id与第一步生成的集合A进行比较,从而得出最终结果。该过程中由于record.id与A均为有序表,所以比较次数为2w次,查询次数为2w+N次。
如上算法,查询次数为 4W+2W+N=6W+N次,平均比较次数为 64W+64W+2W=130w次。
显而易见,该算法对原算法进行了最大的优化,大概将速度提高了10*8倍。
考虑到对数据库的查询时间远远大于排序比较时间,改进厚的算法在实际操作中还会有更好的表现。
至于你对mysql查询语句的优化,则是治标不治本之举,虽然有用,但毕竟是微小量变,不足与影响全局,在一个坏的算法下,几乎不能提升性能。
热心网友
时间:2022-04-10 17:13
将两个表的已建立的索引删除,重新建立索引,然后执行以下语句
select * from record a where not exists(select 1 from offline_record where rec_id=a.id)
热心网友
时间:2022-04-10 18:47
select a.*
from record a
where a.id not in(select distinct b.rec_id from offline_record);
热心网友
时间:2022-04-10 20:39
如果可以的话,应该只查询你需要的字段。这样你的数据量会大大减小