批处理处理文本文件去重复实现代码
2016-11-12 23:22
453 查看
最近需要将重复的内容去掉,所以就想到了使用bat或vbs实现,没想到网上已经有人写好了,测试也正好学习一下
使用方法:把文本拖到批处理上就行了。。。
@echo off :: Code by oicu#lsxk.org 2007/11/29 rem chcp 437>nul :: 看情况使用,utf-8编码的文件不能少了chcp命令,一般无需使用, :: 但无论是否使用都不支持utf-16的文件。 :: pushd "%~dp1" :: 如果不用pushd和popd,文件都要用绝对路径不能只用文件名。 if "%~1"=="" goto :EOF set outputfile=%~dpn1_output%~x1 type nul>"%outputfile%" echo Waiting... for /F "tokens=1* delims=:" %%i in ('findstr /n .* "%~1"') do ( findstr /B /E /C:"%%j" "%outputfile%">nul 2>&1 || echo.%%j>>"%outputfile%" ) pause start "" notepad "%outputfile%" :: popd exit
【 在 oicu (Oh! I see you!) 的大作中提到: 】
: 去重复倒是行。。缺点就是慢和保留原有的空行了。
以下是vbs实现的代码
以下是这个脚本的源代码,复制后另存为vbs后缀的文件,双击即可运行。文件要放在C盘根下的Text.TXT,请特别注意:文本中一行一条记录,不要有空行。
Const adOpenStatic = 3 Const adLockOptimistic = 3 Const adCmdText = &H0001 Set objConnection = CreateObject("ADODB.Connection") Set objRecordSet = CreateObject("ADODB.Recordset") strPathToTextFile = "C:\" strFile = "Test.txt" objConnection.Open "Provider=Microsoft.Jet.OLEDB.4.0;" & _ "Data Source=" & strPathtoTextFile & ";" & _ "Extended Properties=""text;HDR=NO;FMT=Delimited""" objRecordSet.Open "Select DISTINCT * FROM " & strFile, _ objConnection, adOpenStatic, adLockOptimistic, adCmdText Do Until objRecordSet.EOF Set objFSO = CreateObject("Scripting.FileSystemObject") set Fp=objFSO.OpenTextFile("C:\test1.txt",8,True,0) fp.WriteLine objRecordSet.Fields.Item(0).Value fp.close set objFSO = nothing objRecordSet.MoveNext Loop
相关文章推荐
- PHP通过header实现文本文件下载的代码
- 批处理实现文本内容居中显示的代码
- python处理文本文件实现生成指定格式文件的方法
- python处理文本文件实现生成指定格式文件的方法
- C语言实现修改文本文件中特定行的实现代码(百度一天没找到,bing搜索十分钟就找到了)
- PHP通过header实现文本文件下载的代码
- C语言实现修改文本文件中特定行的实现代码
- 去除文本文件中重复的行(批处理)
- react-native-fs实现文件下载、文本存储的示例代码
- 本文给出了一种方便实用的解决大文件的读取、存储等处理的方法,并结合相关程序代码对具体的实现过程进行了介绍
- python处理文本文件实现生成指定格式文件的方法
- 实现两个文本同行交替输出的批处理代码
- [bat][批处理][自动化测试]用批处理实现以日期和时间做文件文件夹名
- 去除文本文件中重复的行(批处理)
- 批处理实现文本内容横列变纵列的代码
- 自己动手实现简易代码生成器、采用文本模板文件生成服务层、服务层接口代码的做法参考
- 自己动手实现简易代码生成器、采用文本模板文件生成服务层、服务层接口代码的做法参考
- Java中用内存映射处理大文件的实现代码
- .Net/C# 封装磁盘目录文件搜索功能的工具类 (实现了与搜索相关的事件,以便插入客户处理代码)
- python处理文本文件实现生成指定格式文件的方法