셸에서 확장명으로 총 파일 크기 계산

우리는 lucene 색인을 포함하는 디렉토리 세트를 가지고 있습니다. 각 인덱스는 서로 다른 파일 형식 (확장자로 구분)의 혼합입니다. 예 :

0/index/_2z6.frq
0/index/_2z6.fnm
..
1/index/_1sq.frq
1/index/_1sq.fnm
..

(약 10 가지 확장 프로그램입니다)

다음과 같은 파일 확장자로 합계를 얻고 싶습니다.

.frq     21234
.fnm     34757
..

나는 du / awk / xargs의 다양한 조합을 시도했지만 정확하게 이것을하는 것이 까다로운 것을 발견했습니다.

주어진 확장에 대해 사용

find /path -name '*.frq' -exec ls -l {} \; | awk '{ Total += $5} END { print Total }'

해당 유형의 총 파일 크기를 가져옵니다.

그리고 약간의 생각 후에

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -n "$ft "
    find . -name "*${ft}" -exec ls -l {} \; | awk '{total += $5} END {print total}'
done

찾은 각 파일 형식의 크기를 바이트 단위로 출력합니다.

bash는 버전 4와 함께, 당신은 단지 호출 할 필요가 find, ls그리고 awk필요가 없습니다 :

declare -A ary

while IFS=$'\t' read name size; do 
  ext=${name##*.}
  ((ary[$ext] += size))
done < <(find . -type f  -printf "%f\t%s\n")

for key in "${!ary[@]}"; do 
  printf "%s\t%s\n" "$key" "${ary[$key]}"
done

두 번째 열을 나누고 .마지막 부분 (확장자)을 배열로 저장했습니다.

#!/bin/bash

find . -type f -printf "%s\t%f\n" | awk '
{
 split($2, ext, ".")
 e = ext[length(ext)]
 size[e] += $1
}

END{
 for(i in size)
   print size[i], i
}' | sort -n

그런 다음 모든 확장의 총 크기 (바이트)를 얻습니다.

60055 gemspec
321991 txt
2075312 html
2745143 rb
13387264 gem
47196526 jar

많은 수의 파일로 작업하기 위해 더 빠른 버전으로 Iain의 스크립트를 확장합니다.

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -ne "$ft\t"
    find . -name "*${ft}" -exec du -bcsh '{}' + | tail -1 | sed 's/\stotal//'
done

이것이 해결책입니다.

find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq -c | sort -n

이 게시물에 원래 게시 된 솔루션 : 디렉토리의 모든 확장자와 해당 파일 수를 가져옵니다.

이 두 명령을 사용하여 해결했습니다.

FILES=$(find . -name '*.c')
stat -c %s ${FILES[@]} | awk '{ sum += $1 } END { print ".c" " " sum }'

질문에 대한 내 답변 버전 :

#!/bin/bash

date >  get_size.log
# Lists all files
find . -type f -printf "%s\t%f\n" | grep -E ".*\.[a-zA-Z0-9]*$" | sort -h | awk  '
{
        split($2, ext, ".")
        e = ext[length(ext)]
        # Checks that one extension could be found
        if(length(e) < length($2)) {
                # Check that file size are bigger than 0
                if($i > 0) {
                        # Check that extension not are integer
                        if(!(e ~/^[0-9]+$/)) {
                                size[e] += $1
                        }
                }
        }
        if(length(e) == length($2)) {
                size["blandat"] += $1
        }
}

END{
 for(i in size)
   print size[i], i
}' | sort -n >> get_size.log
echo
echo
echo The result are in file get_size.log

Crab ( http://etia.co.uk/ )을 사용해보십시오 -SQL을 사용하여 파일 시스템을 쿼리 할 수있는 명령 줄 유틸리티입니다.