SQL Server 性能优化之——T-SQL NOT IN 和 NOT Exists
2013-06-17 06:45
507 查看
这次介绍一下T-SQL中“Not IN” 和“Not Exists”的优化。
Not IN 和 Not Exists 命令 :
有些情况下,需要select/update/delete 操作孤立数据。孤立数据:不存在主表中而存在其关联表中。
操作这样的数据,一般第一反应是利用“Not in” 或 “Not Exists”命令。使用Not IN会严重影响性能,因为这个命令会逐一检查每个记录,就会造成资源紧张,尤其是当对大数据进行更新和删除操作时,可能导致资源被这些操作锁住。
选择NOT IN 还是 NOT Exists
现在SQL Server 中有两个命令可以使用大数据的插入、更新、删除操作,性能方面比NOT IN有很大的提高,语法简单比NOT Exists好很多,写出来的语句看上去很清爽。 现在就请它们闪亮登场,Merge 和 Except。
例子:
首先创建两个表
使用Not IN命令Select/update/delete操作:
使用性能更好语法更简洁的Merge and Except:
注意,上面还是有一部分使用了Not Exists:
在这里只是给出了例子,没有拿出实际的对比数据。但是Merge 和Except 两个命令在大数据的处理方面的性能,要比
Not IN 好很多,代码简洁程度上,要比和Not EXISTS好很多。不管你信不信,反正我信了!!!
上测试数据喽:Test1中有400000条数据,Test2中有500000条数据其中100000条数据的name是不同
Select Not IN:18秒
Select Except:几乎没有花费时间
Update Not IN: 19秒
Update Except、Merge:
删除操作和上面两个操作时间基本一样,在这里就不上图片了。
Not Exists性能上面并没有比except好多少。在我的测试数据上,两个几乎是在1秒以内完成操作的!!!
在次谢谢@徐少侠的评价及意见,希望大家看一下。
Not IN 和 Not Exists 命令 :
有些情况下,需要select/update/delete 操作孤立数据。孤立数据:不存在主表中而存在其关联表中。
操作这样的数据,一般第一反应是利用“Not in” 或 “Not Exists”命令。使用Not IN会严重影响性能,因为这个命令会逐一检查每个记录,就会造成资源紧张,尤其是当对大数据进行更新和删除操作时,可能导致资源被这些操作锁住。
选择NOT IN 还是 NOT Exists
现在SQL Server 中有两个命令可以使用大数据的插入、更新、删除操作,性能方面比NOT IN有很大的提高,语法简单比NOT Exists好很多,写出来的语句看上去很清爽。 现在就请它们闪亮登场,Merge 和 Except。
例子:
首先创建两个表
use [MyTest] create table Test1 ([id] int, [name] varchar(20)) create table Test2 ([id] int, [name] varchar(20), [address] varchar(100))
declare @RowC int declare @Name varchar(20) set @RowC = 0 while @RowC < 400000 Begin set @Name = 'TestName' + CAST(@RowC as varchar(10)) insert into Test1(id, name) values(@RowC, @Name) set @RowC = @RowC+1 end
declare @RowC int declare @Name varchar(20) declare @Address varchar(100) set @RowC = 0 while @RowC < 500000 Begin set @Name = 'TestName' + CAST(@RowC as varchar(10)) set @Address = 'TestAddress' + CAST(@RowC as varchar(10)) insert into Test2([id], [name], [address]) values(@RowC, @Name, @Address) set @RowC = @RowC+1 end
使用Not IN命令Select/update/delete操作:
SELECT [name] FROM Test2 where [name] not in (select [name] from Test1) UPDATE Test2 SET [name] =N'New_Name' where [name] not in (select [name] from Test1) DELETE Test2 FROM Test2 where [name] not in (select [name] from Test1)
使用性能更好语法更简洁的Merge and Except:
merge Test2 T using (select name from Test2 except select name from Test1 )S on t.name=s.name when matched then update SET name=N'New_Name' ; merge Test2 T using (select name from Test2 except select name from Test1 )S on t.name=s.name when matched then delete ; SELECT * FROM Test2 S where not exists (select 1 from Test2 inner join Test1 on Test2.name=Test1.name and Test2.name=s.name)
注意,上面还是有一部分使用了Not Exists:
SELECT name FROM Test2 S where not exists (select 1 from Test2 inner join Test1 on Test2.name=Test1.name and Test2.name=s.name)
现在需要使用简洁的Except:
select name from Test1 except select name from Test2
在这里只是给出了例子,没有拿出实际的对比数据。但是Merge 和Except 两个命令在大数据的处理方面的性能,要比
Not IN 好很多,代码简洁程度上,要比和Not EXISTS好很多。不管你信不信,反正我信了!!!
上测试数据喽:Test1中有400000条数据,Test2中有500000条数据其中100000条数据的name是不同
Select Not IN:18秒
Select Except:几乎没有花费时间
Update Not IN: 19秒
Update Except、Merge:
删除操作和上面两个操作时间基本一样,在这里就不上图片了。
Not Exists性能上面并没有比except好多少。在我的测试数据上,两个几乎是在1秒以内完成操作的!!!
在次谢谢@徐少侠的评价及意见,希望大家看一下。
相关文章推荐
- SQL Server 性能优化之——T-SQL NOT IN 和 NOT Exists
- SQL Server 性能优化之——T-SQL NOT IN 和 NOT Exists
- SQL Server 性能优化之——T-SQL NOT IN 和 NOT Exists
- 优化 SQL Server CPU 性能(转:http://www.sqlclub.cn/basic/2009-04/2236.htm)
- sql语句优化之用EXISTS替代IN、用NOT EXISTS替代NOT IN的语句
- SQL Server 性能优化之——T-SQL TVF和标量函数
- sql语句优化--用EXISTS替代IN、用NOT EXISTS替代NOT IN
- sql not in、left join、not exists
- NOT EXISTS替代NOT IN EXISTS替换DISTINCT 识别‘低效执行’的SQL语句
- 对IN & EXISTS NOT IN & NOT EXISTS的优化
- SQL 范围查询问题遇见与扩展学习 IN; NOT IN; NOT EXISTS;BETWEEN AND
- Oracle sql"NOT IN"语句优化,查询A表有、B表没有的数据
- SQL语句优化一例 row_number not in or
- IN & EXISTS NOT IN & NOT EXISTS优化工作
- Sql语句优化之用exists、not exists替代in、not in
- Sql性能检测工具:Sql server profiler和优化工具:Database Engine Tuning Advisor
- Sql Server CPU 性能排查及优化的相关 Sql
- NOT EXISTS替代NOT IN EXISTS替换DISTINCT 识别‘低效执行’的SQL语句
- sql语句优化之用EXISTS替代IN、用NOT EXISTS替代NOT IN的语句
- 关于sql not in 和not exists 区别和用法