Sql Server 2012新特性 Online添加非空栏位

我们都知道,Sql Server在一个数据量巨大的表中添加一个非空栏位是比较费心的,缺乏经验的DBA或是开发人员甚至可能鲁莽地直接添加导致阻塞相应业务,甚至可能因为资源欠缺造成实例的全局问题.当然这都是Sql 2008R2及以前版本的情况.在SQL2012中采用了新的实现方式.这里我将对比相应的实现方式给大家做个介绍.并简单说明Sql Server早期版本添加非空列的方法.

添加非空栏位的实现方式

早期版本(Sql Server2008R2及以前)添加非空栏位(要求有默认值)是对表中的所有数据行依次修改调整

我们通过一个简单的实例来看下

Sql 2008R2 SP2 Code

Create database tadnull
go
use tadnull
go
create table t2(id int not null identity (1,1),dystr varchar(20),fixstr char(30));
go
set nocount on
declare @batchSize int
set @batchSize=1000
declare @i int
set @i=0
while(@i<20000)
begin
if (@i%@batchSize=0)
begin
if (@@TRANCOUNT>0)COMMIT TRAN
BEGIN TRAN
end
insert into t2(dystr,fixstr)values('aaa'+str(RAND()*100000000),'bbb'+str(RAND()*100000000))
set @i=@i+1
end

if (@@TRANCOUNT>0)COMMIT TRAN
dbcc ind(tadnull,t2,1) -----find a datapage pageid 21

dbcc traceon(3604)
dbcc page('tadnull',1,21,3)-----view the datapage 21

通过DBCC PAGE我们打印其中的一个数据页进行分析.
可以看到图1-1当前数据页的最后修改的日志记录为m_lsn = (28:69:279)
数据页中第一行数据(slot 0)页偏移量0x60,行长度为58

                                                 图1-1
添加非空栏位code

alter table t2 add tt int not null default '10'
dbcc page('tadnull',1,21,3)-----view the datapage 21
select b.* from sys.system_internals_partitions a
join sys.system_internals_partition_columns b on a.partition_id = b.partition_id
where a.object_id = object_id('t2');-----查看行数修改情况

可以看到图1-2添加非空栏位后,字节数据页最后修改的LSN号由m_lsn = (28:69:279)变为了
    m_lsn = (43:432:186),数据页中首行长度也由58变为了62正好是一个int数据类型长度.
当然我们也可以看到添加过程中会有大量的key锁出现.图1-3
(可以通过DMV查看,或者Xevents,trace profiler等探究)
从特定的DMV中,我们看到新加列的修改行数为200000,为表的数据行数,这也反应的数据修改为逐行修改.图1-4

                                               图1-2

                                        图1-3

                                       图1-4

由此我们可以看到,在sql2008R2及以前版本中添加非空栏位会对表中数据逐行操作.操作执行成本很高.

接下来我们再看看sql2012采用的新的实现方式.

Sql 2012 SP1 code

Create database tadnull
go
use tadnull

create table t2(id int not null identity (1,1),dystr varchar(20),fixstr char(30));
go
set nocount on
declare @batchSize int
set @batchSize=1000
declare @i int
set @i=0
while(@i<200000)
begin
if (@i%@batchSize=0)
begin
if (@@TRANCOUNT>0)COMMIT TRAN
BEGIN TRAN
end

insert into t2(dystr,fixstr)values('aaa'+str(RAND()*100000000),'bbb'+str(RAND()*100000000))
set @i=@i+1

end
if (@@TRANCOUNT>0)COMMIT TRAN

dbcc ind('tadnull','t2',1)--------find a data page (pageid 120)

dbcc traceon(3604)
dbcc page('tadnull',1,120,3)

通过DBCC PAGE我们打印其中的一个数据页进行分析.
可以看到图2-1当前数据页的最后修改的日志记录为  m_lsn = (33:155:157)
数据页中第一行数据(slot 0)页偏移量0x60,行长度为58

                                            图2-1
添加非空栏位code

alter table t2 add tt int not null default '10'
dbcc page('tadnull',1, 120,3)-----view the datapage 120
select b.* from sys.system_internals_partitions a
join sys.system_internals_partition_columns b on a.partition_id = b.partition_id
where a.object_id = object_id('t2');-----查看行数修改情况

通过图2-2可以看出,页的最后修改的LSN记录m_lsn = (33:155:157)行长度 Length 58与添加栏位前一致！这与sql2008R2截然不同.
通过图2-3可以看出新增栏位的修改行数为0,这反应了添加新行的修改非逐行修改.
由以上两个图我们可以推断出添加新的非空栏位并非在新数据页上逐一操作,而是元数据级的操作.
感兴趣读者可以通过Xevent,Trace Profiler的锁捕捉来进一步验证.

                                               图2-2

                                              图2-3
在添加完后的打印数据页120的内容中我们可以看到图2-4中栏位号4名称dd已经被添加,但其物理长度为0,及行中栏位值未添加到此数据页上

                                       图2-4

 

问题来了,那么这个栏位就永远不会去填充数据页而只是标识吗?

我们简单修改一下120页中的一条数据然后再打印此页内容

修改CODE

update t2 set dystr='shanksgao1111' where id=1
checkpoint
dbcc page('tadnull',1,120,3)

由于我得屏幕不能完全打印单页中我们所需的内容,此页没截图,直接输出.截取其中需要信息
可以从红色的字体中看到,此页上的LSN变化为m_lsn = (157:336:2),第一行长度（id=1）变为了62(58+4)虽然我只是修改了变长栏位dystr但变长长度和以前一样.但新添加的非空栏位的值也添加到此页上来.
Slot 0 Column 4 Offset 0x26 Length 4 Length (physical) 4.
******************************************打印数据页内容******************************************
 
m_freeData = 7640                   m_reservedCnt = 0                   m_lsn = (157:336:2)
 
m_xactReserved = 0                  m_xdesId = (0:0)                    m_ghostRecCnt = 0
 
m_tornBits = -1896544491            DB Frag ID = 1                     
 
Allocation Status
 
GAM (1:2) = ALLOCATED               SGAM (1:3) = NOT ALLOCATED         
 
PFS (1:1) = 0x64 MIXED_EXT ALLOCATED 100_PCT_FULL                        DIFF (1:6) = CHANGED
 
ML (1:7) = NOT MIN_LOGGED          
 
Slot 0 Offset 0x1d9a Length 62
 
Record Type = PRIMARY_RECORD        Record Attributes =  NULL_BITMAP VARIABLE_COLUMNS
 
Record Size = 62                   
 
Memory Dump @0x000000002F5EBD9A
 
0000000000000000:   30002a00 01000000 62626220 20203838 39373839  0.*.....bbb   889789
 
0000000000000014:   30202020 20202020 20202020 20202020 20200a00  0                 ..
 
0000000000000028:   00000400 0001003e 00736861 6e6b7367 616f3131  .......>.shanksgao11
 
000000000000003C:   3131                                          11    
 
Slot 0 Column 1 Offset 0x4 Length 4 Length (physical) 4
 
id = 1                             
 
Slot 0 Column 2 Offset 0x31 Length 13 Length (physical) 13
 
dystr = shanksgao1111               
 
Slot 0 Column 3 Offset 0x8 Length 30 Length (physical) 30
 
fixstr = bbb   8897890                                                  
 
Slot 0 Column 4 Offset 0x26 Length 4 Length (physical) 4
dd = 10                        
******************************************打印数据页内容******************************************
 
通过上面的实例我们可以看到,在sql2012中,当我们添加一个非空栏位时,实际对相应数据页上的操作并非逐一修改添加.因此执行速度非常快,对线上业务影响很低.但由于其并非实际填充数据页使的Sql Server在应用,维护数据页时进行额外的工作.对此Sql Server采用了较为平滑的处理方式.当更新某(些)行时,再进行页中数据填充,降低了影响粒度.更友好地满足了线上业务的需求.

注:此方式添加新的非空栏位时不包括Blob数据类型.

   添加行版本戳(rowversion/ timestamp)不支持.

 早期版本调整方式

我们可以看到sql2012的改进,但早期版本如果维护该如何操作?

早期版本中添加非空栏位针对数据量较小的表还好,但是针对大表由于其添加非空栏位的实现特性,致使阻塞发生的几率明显加大.因此针对大表我们必须谨慎进行.

a 如果有能调整的时间窗口则可以先预估下执行时间(相似环境中测试)然后时间窗口中操作.

b 如果没有可供调整的时间窗口而需求又看似急茬,这样我们可以采用如下步骤循序渐进的调整降低其影响的粒度.

添加非空栏位

1 添加一个带默认值得可为空栏位

alter table t2 add col5 int default 100

2 添加一个约束使其col5不可为空,但不检查现有数据

ALTER TABLE t2 WITH NOCHECK

ADD CONSTRAINT CK_NOTNULL CHECK (col5 IS NOT NULL)

3 轮询批量修改现有数据,更改现有col5为默认值

WHILE 1=1

BEGIN

BEGIN TRAN

UPDATE TOP(2000) t2 SET col5 = 100 WHERE col5 IS NULL

IF @@rowcount < 2000

BEGIN

COMMIT TRAN

BREAK;

END

COMMIT TRAN

END-------------限制数据量修改,尽量避免锁升级

 

添加行版本戳

由上面的内容我们已经知道添加行版本戳(rowversion)时无法使用新特性的,那面对大表DBA该如何操作呢？如果有相应时间窗口那是最好,如果没有,DBA需要和研发沟通利用sql server相应知识变向调整.

这里我借鉴与sql 2012 online添加非空栏位时类似的实现方式但需要研发同事配合

大表中添加行版本戳

1 创建一个与原表SCHEMA完全一致的表

2 创建一个视图为原表union all 新表

3 需研发同事配合调整访问实现方式

 a 读访问从视图

b 插入操作插入到新表

c 修改操作原表移动到新表

4 采用批量轮询修改移动

5 移动完毕后调整表名称(原表改随意名,新表调整为原表名,告知研发调整,删除视图与原表)

 

如果研发无法配合调整,如此情况下就比较麻烦了.此时DBA需要一个时间窗口.

为了更迅捷地将相应栏位加上减小阻塞时间我们可以/尽量采取如下一系列的方式来缩短窗口时间.

1 选择实例中相关对象负载最低的时间段进行

2 为执行操作提供尽量多的资源来确保其尽快完成.

  如 调整加大buffer pool的大小

     操作前腾出足够的内存供其使用

Checkpoint

Dbcc dropcleanbuffers-----注意这些操作需保证实例应用在可接受的情况下进行

3 执行的会话中提前获取表级排他锁.(由于添加行版本戳本身也是逐行添加,会话中提前获取表的排他锁可以减小总共获取锁的次数进而加快执行速度) 

begin tran ttt

update t2 with(tablockx) set dystr='aaa' where 1=0

/*调整代码*/

alter table t2 add rv rowversion

commit tran ttt