중복 파일 찾기 및 심볼릭 링크로 교체

주어진 디렉토리에서 중복 파일 (다른 이름 포함)을 검사하고 첫 번째 항목을 가리키는 심볼릭 링크로 바꾸는 방법을 찾으려고합니다. 나는 시도 fdupes했지만 그 중복을 나열합니다.
그 맥락은 다음과 같습니다. 나는 원하는대로 아이콘 테마를 사용자 정의하고 있으며, 많은 아이콘은 부모 폴더 내에서 이름과 위치가 다르고 다른 목적으로 사용 되더라도 기본적으로 동일하다는 것을 알았습니다. 그림. 하나만 필요로 할 때 동일한 수정을 20 회 또는 30 회 적용하는 것은 중복되므로 하나의 이미지 만 유지하고 다른 이미지는 모두 심볼릭 링크로 만들고 싶습니다.

예를 들어, fdupes -r ./디렉토리 안에서 실행 testdir하면 다음 결과가 나에게 반환 될 수 있습니다.

./file1.png
./file2.png
./subdir1/anotherfile.png
./subdir1/subdir2/yetanotherfile.png

이 출력이 주어지면 파일 만 유지 file1.png하고 다른 모든 파일 을 삭제 하고 파일을 가리키는 심볼릭 링크로 바꾸고 모든 원래 파일 이름 을 유지하고 싶습니다 . 따라서 file2.png이름은 유지되지만 file1.png중복되는 대신 링크가 됩니다.

이러한 링크는 절대 경로를 가리켜서는 안되지만 부모 testdir디렉토리와 관련이 있어야합니다 . 즉 yetanotherfile.png을 가리 키지 ../../file1.png않고/home/testuser/.icons/testdir/file1.png

GUI와 CLI가 포함 된 솔루션에 관심이 있습니다. fdupes내가 아는 도구이기 때문에 인용 한 것을 반드시 사용해야 하는 것은 아니지만 다른 도구를 사용하는 솔루션에도 열려 있습니다.

나는이 모든 것을 처리하는 bash 스크립트가 만들기가 어렵지 않아야한다고 확신하지만 직접 작성하는 방법을 알기에 충분하지 않습니다.

먼저; 일반적인 하드 링크가 아닌 심볼릭 링크를 사용해야하는 이유가 있습니까? 상대 경로가있는 심볼릭 링크의 필요성을 이해하는 데 어려움을 겪고 있습니다. 이 문제를 해결하는 방법은 다음과 같습니다.

나는 데비안 (우분투) 버전의 fdupes가 -L옵션을 사용하여 복제본을 하드 링크로 대체 할 수 있다고 생각 하지만, 이것을 확인하기 위해 데비안 설치가 없습니다.

-L옵션 이있는 버전이 없다면 commandlinefu 에서 찾은이 작은 bash 스크립트를 사용할 수 있습니다 .
이 구문은 bash에서만 작동합니다.

fdupes -r -1 path | while read line; do master=""; for file in ${line[*]}; do if [ "x${master}" == "x" ]; then master=$file; else ln -f "${master}" "${file}"; fi; done; done

위의 명령은 "path"에서 모든 중복 파일을 찾아 하드 링크로 대체합니다. ls -ilRinode 번호 를 실행 하고 확인하여이를 확인할 수 있습니다 . 다음은 10 개의 동일한 파일이있는 샘플입니다.

$ ls -ilR

total 20
3094308 -rw------- 1 username group  5 Sep 14 17:21 file
3094311 -rw------- 1 username group  5 Sep 14 17:21 file2
3094312 -rw------- 1 username group  5 Sep 14 17:21 file3
3094313 -rw------- 1 username group  5 Sep 14 17:21 file4
3094314 -rw------- 1 username group  5 Sep 14 17:21 file5
3094315 drwx------ 1 username group 48 Sep 14 17:22 subdirectory

./subdirectory:
total 20
3094316 -rw------- 1 username group 5 Sep 14 17:22 file
3094332 -rw------- 1 username group 5 Sep 14 17:22 file2
3094345 -rw------- 1 username group 5 Sep 14 17:22 file3
3094346 -rw------- 1 username group 5 Sep 14 17:22 file4
3094347 -rw------- 1 username group 5 Sep 14 17:22 file5

모든 파일에는 별도의 inode 번호가 있으므로 별도의 파일이됩니다. 이제 중복을 제거하십시오.

$ fdupes -r -1 . | while read line; do j="0"; for file in ${line[*]}; do if [ "$j" == "0" ]; then j="1"; else ln -f ${line// .*/} $file; fi; done; done
$ ls -ilR
.:
total 20
3094308 -rw------- 10 username group  5 Sep 14 17:21 file
3094308 -rw------- 10 username group  5 Sep 14 17:21 file2
3094308 -rw------- 10 username group  5 Sep 14 17:21 file3
3094308 -rw------- 10 username group  5 Sep 14 17:21 file4
3094308 -rw------- 10 username group  5 Sep 14 17:21 file5
3094315 drwx------  1 username group 48 Sep 14 17:24 subdirectory

./subdirectory:
total 20
3094308 -rw------- 10 username group 5 Sep 14 17:21 file
3094308 -rw------- 10 username group 5 Sep 14 17:21 file2
3094308 -rw------- 10 username group 5 Sep 14 17:21 file3
3094308 -rw------- 10 username group 5 Sep 14 17:21 file4
3094308 -rw------- 10 username group 5 Sep 14 17:21 file5

이제 파일의 아이 노드 번호가 모두 동일하므로 디스크의 동일한 물리적 데이터를 가리 킵니다.

이것이 당신의 문제를 해결하거나 적어도 올바른 방향으로 당신을 가리 키기를 바랍니다!

많은 스크립팅을 좋아하지 않는다면 rdfind 를 추천 할 수 있습니다 . 주어진 디렉토리에서 중복 파일이 있는지 스캔하고 하드 링크 또는 소프트 링크로 연결합니다. Ruby gems 디렉토리를 중복 제거하는 데 큰 성공을 거두었습니다. 데비안 / 우분투에서 사용할 수 있습니다.

비슷한 상황이 있었지만 제 경우에는 심볼릭 링크가 상대 경로를 가리켜 야 하므로이 파이썬 스크립트 를 작성 하여 트릭을 수행하십시오.

#!/usr/bin/env python
# Reads fdupes(-r -1) output and create relative symbolic links for each duplicate
# usage: fdupes -r1 . | ./lndupes.py

import os
from os.path import dirname, relpath, basename, join
import sys

lines = sys.stdin.readlines()

for line in lines:
    files = line.strip().split(' ')
    first = files[0]
    print "First: %s "% first
    for dup in files[1:]:
        rel = os.path.relpath(dirname(first), dirname(dup))
        print "Linking duplicate: %s to %s" % (dup, join(rel,basename(first)))
        os.unlink(dup)
        os.symlink(join(rel,basename(first)), dup)

각 입력 행 (파일 목록)에 대해 스크립트는 파일 목록 (공백으로 구분)을 분할하고 각 파일에서 첫 번째 파일로의 상대 경로를 가져온 다음 심볼릭 링크를 만듭니다.

따라서 arnefm (인터넷 전체에 복사 됨)이 제공 한 답변은 파일 이름의 공백을 처리하지 않습니다. 파일의 공백을 처리하는 스크립트를 작성했습니다.

#!/bin/bash
fdupes -r -1 CHANGE_THIS_PATH | sed -e 's/\(\w\) /\1|/g' -e 's/|$//' > files
while read line; do
        IFS='|' read -a arr <<< "$line"
        orig=${arr[0]}
        for ((i = 1; i < ${#arr[@]}; i++)); do
                file="${arr[$i]}"
                ln -sf "$orig" "$file"
        done 
done < files

이것이하는 일은 속임수를 찾아서 'files'라는 파일로 구분 된 PIPE를 작성하는 것입니다.

그런 다음 파일을 한 줄씩 배열로 다시 읽고 배열의 각 요소는 PIPE로 구분됩니다.

그런 다음 배열의 첫 번째가 아닌 모든 요소를 ​​반복하여 파일을 첫 번째 요소에 대한 심볼릭 링크로 바꿉니다.

fdupes 명령이 서브 쉘에서 실행되면 외부 파일 ( 'files')을 제거 할 수 있습니다.

몇 가지주의 사항 :

• 배쉬 특정
• 파일 이름에 공백이 없습니다
• 각 줄에 최대 2 개의 파일이 있다고 가정합니다.

fdupes -1r common/base/dir | while read -r -a line ; do ln -sf $(realpath --relative-to ${line[1]} ${line[0]}) ${line[1]}; done

두 개 이상의 파일이 중복 된 경우 (예 : file1 file2 file3) 각 쌍에 대해 심볼릭 링크를 만들어야합니다. file1, file2 및 file1, file3을 2 개의 개별 사례로 취급하십시오.

if [[ ${#line[@]} -gt 2 ]] ;then 
  ln -sf $(realpath --relative-to ${line[1]} ${line[0]}) ${line[1]} 
  ln -sf $(realpath --relative-to ${line[2]} ${line[0]}) ${line[2]} 
  ...
fi

라인 당 임의의 수의 복제본을 자동으로 처리하기 위해 이것을 소비하면 약간의 노력이 필요합니다.

다른 방법은 먼저 절대 경로에 대한 심볼릭 링크를 만든 다음 변환하는 것입니다.

fdupes -1r /absolute/path/common/base/dir | while read -r -a line ; do ln -sf ${line[0]} ${line[1]}; done
chroot /absolute/path/common/base/dir ; symlinks -cr .

이것은 @Gilles의 답변을 기반으로합니다 : /unix//a/100955/77319