a.txt內(nèi)容如下：
123
456
789
123
123
789
獲取重復(fù)的行，并且重復(fù)的行只保留一次，處理后得到b.txt內(nèi)容如下：
123
789
方法1：
@echo off
REM 缺點1：無法處理特別大的文件
REM 缺點2：需要使用文件中沒有出現(xiàn)的字符來標記變量（本例中使用的是下劃線）
setlocal
for /f "delims=" %%i in (a.txt) do (
set /a _%%i+=1
)
(for /f "tokens=1-2 delims=_=" %%i in ('set _') do (
if %%j gtr 1 (
echo,%%i
)
))>b.txt
endlocal
方法2：
@echo off
setlocal enabledelayedexpansion
set "PriLine="
set "DupNum=1"
(for /f "delims=" %%i in ('sort a.txt') do (
if "!PriLine!" equ "%%i" (
set /a DupNum+=1
) else (
if !DupNum! gtr 1 (
echo,!PriLine!
)
set DupNum=1
)
set "PriLine=%%i"
))>b.txt
if !DupNum! gtr 1 (
>>b.txt echo,!PriLine!
)
方法3：
gawk "{a[$0]++}END{for(i in a)if(a[i]>1)print i}" a.txt > b.txt
方法4：（更加簡潔）
gawk "a[$0]++" a.txt>b.txt
方法5：
@echo off
for /f "tokens=*" %%i in (a.txt) do set #%%i=%%i
(for /f "tokens=2 delims==" %%i in ('set #') do echo %%i)>b.txt
您可能感興趣的文章:- 用vbscript實現(xiàn)從文本文件中刪除所有重復(fù)行的代碼
- 批處理 刪除重復(fù)行的代碼
- python統(tǒng)計一個文本中重復(fù)行數(shù)的方法
- ASP.NET DataTable去掉重復(fù)行的2種方法
- php刪除文本文件中重復(fù)行的方法
