[差量更新系列1]BSDiff算法学习笔记
2017-11-24 14:30
162 查看
转载自:http://blog.csdn.net/add_ada/article/details/51232889
[差量更新系列1]BSDiff算法描述
BSDiff是一个差量更新算法,它在服务器端运行BSDiff算法产生patch包,在客户端运行BSPatch算法,将旧文件和patch包合成新文件。
差量更新算法的核心思想
尽可能多的利用old文件中已有的内容,尽可能少的加入新的内容来构建new文件。通常的做法是对old文件和new文件做子字符串匹配或使用hash技术,提取公共部分,将new文件中剩余的部分打包成patch包,在Patch阶段中,用copying和insertion两个基本操作即可将old文件和patch包合成new文件。
BSDiff算法的改进
Insertion操作会引起大量的指针变动和修改,要记录这些值才能在Patch阶段给修改过的区域重新定位,由于这些指针控制字必须在BSDiff阶段加入patch包,产生的patch包会较大。BSDiff通过引入diff string的概念,大大减少了要记录的指针控制字的数目,从而使得patch包更小。
基本定义
BSDiff基本步骤
BSDiff的三个基本步骤如下:
1.对old文件中所有子字符串形成一个字典;
2.对比old文件和new文件,产生diffstring和extra string;
3.将diffstring 和extra string 以及相应的控制字用zip压缩成一个patch包。
步骤1.是所有差量更新算法的瓶颈,时间复杂度为O(nlogn),空间复杂度为O(n),n为old文件的长度。BSDiff采用 Faster suffix sorting方法获得一个字典序,使用了类似于快速排序的二分思想,使用了bucket,I,V三个辅助数组。最终得到一个数组I,记录了以前缀分组的各个字符串组的最后一个字符串在old中的开始位置
步骤2.是BSDiff产生patch包的核心部分,详细描述如下:
步骤3.将diff string 和extrastring 以及相应的控制字用zip压缩成一个patch包。
可以看出在用zip压缩之前的patch包是没有节约任何字符的,但diff strings可以被高效的压缩,故BSDiff是一个很依赖于压缩与解压的算法!
BSPatch基本步骤
客户端合成patch的基本步骤如下:
1.接收patch包;
2.解压patch包;
3.还原new文件。
三个步骤同时在O(m)时间内完成,但在时间常数上更依赖于解压patch包的部分,m为新文件的长度
复杂度分析
根据以上步骤,不难得出BSDiff与BSPatch的时间与空间复杂度如下:
BSDiff
时间复杂度 O(nlogn) 空间复杂度 O(n)
BSPatch
时间复杂度 O(n+m) 空间复杂度 O(n+m)
另外给出BSDiff压缩效率实验数据:
图片来源:CompressingDifferences of Executable Code
参考文献
Naïve Differences of ExecutableCode
https://www.researchgate.net/publication/2890146_Naive_Differences_of_Executable_Code
Compressing Differences ofExecutable Code
https://www.researchgate.net/publication/2379631_Compressing_Differences_of_Executable_Code
最后附带一个从Cygwin提取的可以在Windows上使用的bsdiff工具。能进行简单的版本控制管理。
链接: https://pan.baidu.com/s/1nvaH0Yd 密码: p5nu
[差量更新系列1]BSDiff算法描述
BSDiff是一个差量更新算法,它在服务器端运行BSDiff算法产生patch包,在客户端运行BSPatch算法,将旧文件和patch包合成新文件。
差量更新算法的核心思想
尽可能多的利用old文件中已有的内容,尽可能少的加入新的内容来构建new文件。通常的做法是对old文件和new文件做子字符串匹配或使用hash技术,提取公共部分,将new文件中剩余的部分打包成patch包,在Patch阶段中,用copying和insertion两个基本操作即可将old文件和patch包合成new文件。
BSDiff算法的改进
Insertion操作会引起大量的指针变动和修改,要记录这些值才能在Patch阶段给修改过的区域重新定位,由于这些指针控制字必须在BSDiff阶段加入patch包,产生的patch包会较大。BSDiff通过引入diff string的概念,大大减少了要记录的指针控制字的数目,从而使得patch包更小。
基本定义
BSDiff基本步骤
BSDiff的三个基本步骤如下:
1.对old文件中所有子字符串形成一个字典;
2.对比old文件和new文件,产生diffstring和extra string;
3.将diffstring 和extra string 以及相应的控制字用zip压缩成一个patch包。
步骤1.是所有差量更新算法的瓶颈,时间复杂度为O(nlogn),空间复杂度为O(n),n为old文件的长度。BSDiff采用 Faster suffix sorting方法获得一个字典序,使用了类似于快速排序的二分思想,使用了bucket,I,V三个辅助数组。最终得到一个数组I,记录了以前缀分组的各个字符串组的最后一个字符串在old中的开始位置
步骤2.是BSDiff产生patch包的核心部分,详细描述如下:
步骤3.将diff string 和extrastring 以及相应的控制字用zip压缩成一个patch包。
可以看出在用zip压缩之前的patch包是没有节约任何字符的,但diff strings可以被高效的压缩,故BSDiff是一个很依赖于压缩与解压的算法!
BSPatch基本步骤
客户端合成patch的基本步骤如下:
1.接收patch包;
2.解压patch包;
3.还原new文件。
三个步骤同时在O(m)时间内完成,但在时间常数上更依赖于解压patch包的部分,m为新文件的长度
复杂度分析
根据以上步骤,不难得出BSDiff与BSPatch的时间与空间复杂度如下:
BSDiff
时间复杂度 O(nlogn) 空间复杂度 O(n)
BSPatch
时间复杂度 O(n+m) 空间复杂度 O(n+m)
另外给出BSDiff压缩效率实验数据:
图片来源:CompressingDifferences of Executable Code
参考文献
Naïve Differences of ExecutableCode
https://www.researchgate.net/publication/2890146_Naive_Differences_of_Executable_Code
Compressing Differences ofExecutable Code
https://www.researchgate.net/publication/2379631_Compressing_Differences_of_Executable_Code
最后附带一个从Cygwin提取的可以在Windows上使用的bsdiff工具。能进行简单的版本控制管理。
链接: https://pan.baidu.com/s/1nvaH0Yd 密码: p5nu
相关文章推荐
- [差量更新系列1]BSDiff算法学习笔记
- 张孝祥java系列教程下载(将持续更新)
- 树莓派开发系列教程4——树莓派网络与更新配置(有线、无线)
- MySQL学习系列7:插入insert 更新update 删除delete
- SpringCloud系列:服务配置文件的进化历程(程序内置、程序外置、实时更新)
- Android官方开发文档Training系列课程中文版:通知用户之更新或移除通知
- hdu4521 小明系列的问题——小明序列(LIS变种 (段树+单点更新解决方案))
- Android学习系列(3)--App自动更新之自定义进度视图和内部存储
- Android学习系列(3)--App自动更新之自定义进度视图和内部存储
- HDU-4533:威威猫系列故事——晒被子(线段树延迟更新+推公式)
- Android 版本更新(非热更新) 适配7.0更新 以及三星 note系列读取内存相关目录无权限问题
- [Gradle中文教程系列]-跟我学Gradle-5.4:依赖-依赖的更新与缓存
- ENode框架Conference案例分析系列之 - 复杂情况的读库更新设计
- Oracle企业可视化解决方案AutoVue系列产品更新至v21.0.1!
- MongoDB系列8:MongoDB集合的增量更新
- 文件下载与应用更新系列博客一:基本功能实现
- 树线段线段树(端点更新) hdu-4521 小明系列问题——小明序列
- 前端攻略系列(一) - 前端各种优化(保证持续更新)
- [08] 使用 MVC 5 的 EF6 Code First 入门 系列:为ASP.NET MVC应用程序更新相关数据
- Expert C# 2008 Business Objects 系列随笔不再更新