vi에서 중복 행을 제거 하시겠습니까?

긴 항목 목록 (각 줄에 하나씩)이 포함 된 텍스트 파일이 있습니다. 이들 중 일부는 중복되며 중복을 제거하는 것이 가능한지 (그리고 그렇다면 어떻게) 알고 싶습니다. 가능한 경우 vi / vim 내에서이 작업을 수행하는 데 관심이 있습니다.

파일 정렬에 문제가 없으면 다음을 사용할 수 있습니다.

:sort u

이 시도:

:%s/^\(.*\)\(\n\1\)\+$/\1/

바로 뒤에 하나 이상의 복사본이 오는 줄을 검색하고 단일 복사본으로 바꿉니다.

시도하기 전에 파일의 사본을 만드십시오. 테스트되지 않았습니다.

명령 줄에서 다음을 수행하십시오.

sort file | uniq > file.new

awk '!x[$0]++' yourfile.txt순서를 유지하려는 경우 (즉, 정렬이 허용되지 않음). vim에서 호출하기 위해 :!사용할 수 있습니다.

g/^\(.*\)$\n\1/d

Windows에서 나를 위해 작동합니다. 하지만 줄을 먼저 정렬해야합니다.

위의 두 가지 답변을 결합합니다.

go to head of file
sort the whole file
remove duplicate entries with uniq

1G
!Gsort
1G
!Guniq

제거 된 중복 라인 수를 확인하려면 control-G 전후에 버퍼에있는 라인 수를 확인하십시오.

시각적 선 모드 ( Shift+ v)에서 선을 선택한 다음 :!uniq. 그것은 차례로 오는 중복 만 잡을 것입니다.

VimL에서 Uniq를 구현하는 방법에 대해서는 유지 관리하고 있는 플러그인 에서 Uniq를 검색하십시오 . Vim 메일 링리스트에있는 다양한 구현 방법을 볼 수 있습니다.

그렇지 않으면 :sort u실제로 갈 길입니다.

:%s/^\(.*\)\(\n\1\)\+$/\1/gec

또는

:%s/^\(.*\)\(\n\1\)\+$/\1/ge

이것은 당신을위한 내 대답입니다. 여러 중복 줄을 제거하고 하나만 제거 할 수 있습니다!

을 사용 !}uniq하지만 빈 줄이없는 경우에만 작동합니다.

파일의 모든 행에 대해 :1,$!uniq.

이 버전은 연속 된 반복 된 줄만 제거합니다. 연속적으로 반복되는 줄만 삭제합니다. 주어진 맵을 사용하면 함수는 빈 줄로 엉망이됩니다. 그러나 REGEX를 줄의 시작과 일치하도록 변경하면 ^중복 된 빈 줄도 제거됩니다.

" function to delete duplicate lines
function! DelDuplicatedLines()
    while getline(".") == getline(line(".") - 1)
        exec 'norm! ddk'
    endwhile
    while getline(".") == getline(line(".") + 1)
        exec 'norm! dd'
    endwhile
endfunction
nnoremap <Leader>d :g/./call DelDuplicatedLines()<CR>

vi / vim (매우 큰 파일의 경우)을 사용하지 않는 다른 방법은 Linux 명령 줄에서 sort 및 uniq를 사용하는 것입니다.

sort {file-name} | uniq -u

이것은 모두 나를 위해 일한 .csv과.txt

awk '!seen[$0]++' <filename> > <newFileName>

설명 : 명령의 첫 번째 부분은 고유 한 행을 인쇄하고 두 번째 부분은 즉 가운데 화살표 뒤의 첫 번째 부분의 출력을 저장하는 것입니다.

awk '!seen[$0]++' <filename>

>

<newFileName>