명령 프롬프트에서 파일 크기 분포 생성

몇 백만 개의 파일이있는 파일 시스템이 있는데 특정 디렉토리에서 파일 크기의 재귀를 반복적으로보고 싶습니다. 나는 이것이 bash / awk fu로 완전히 가능하다고 생각하지만 손을 사용할 수 있습니다. 기본적으로 다음과 같은 것을 원합니다.

1KB: 4123
2KB: 1920
4KB: 112
...
4MB: 238
8MB: 328
16MB: 29138
Count: 320403345

루프가 주어지면 너무 나쁘지 않아야한다고 생각하고 일부 조건부 log2 파일은 foo를 나타내지 만 거기에 도달 할 수는 없습니다.

관련 질문 : x 바이트보다 크거나 작은 파일을 어떻게 찾을 수 있습니까? .

이것은 꽤 잘 작동하는 것 같습니다 :

find . -type f -print0 | xargs -0 ls -l | awk '{size[int(log($5)/log(2))]++}END{for (i in size) printf("%10d %3d\n", 2^i, size[i])}' | sort -n

결과는 다음과 같습니다.

         0   1
         8   3
        16   2
        32   2
        64   6
       128   9
       256   9
       512   6
      1024   8
      2048   7
      4096  38
      8192  16
     16384  12
     32768   7
     65536   3
    131072   3
    262144   3
    524288   6
   2097152   2
   4194304   1
  33554432   1
 134217728   4

garyjohn의 답변을 바탕으로 다음은 하나의 라이너로 출력을 사람이 읽을 수 있도록 형식화합니다.

find . -type f -print0 | xargs -0 ls -l | awk '{ n=int(log($5)/log(2)); if (n<10) { n=10; } size[n]++ } END { for (i in size) printf("%d %d\n", 2^i, size[i]) }' | sort -n | awk 'function human(x) { x[1]/=1024; if (x[1]>=1024) { x[2]++; human(x) } } { a[1]=$1; a[2]=0; human(a); printf("%3d%s: %6d\n", a[1],substr("kMGTEPYZ",a[2]+1,1),$2) }'

확장 버전은 다음과 같습니다.

find . -type f -print0                                                   \ 
 | xargs -0 ls -l                                                        \
 | awk '{ n=int(log($5)/log(2));                                         \
          if (n<10) n=10;                                                \
          size[n]++ }                                                    \
      END { for (i in size) printf("%d %d\n", 2^i, size[i]) }'           \
 | sort -n                                                               \ 
 | awk 'function human(x) { x[1]/=1024;                                  \
                            if (x[1]>=1024) { x[2]++;                    \
                                              human(x) } }               \
        { a[1]=$1;                                                       \ 
          a[2]=0;                                                        \
          human(a);                                                      \
          printf("%3d%s: %6d\n", a[1],substr("kMGTEPYZ",a[2]+1,1),$2) }' 

처음 awk에는 1kb 미만의 모든 파일을 한곳에 수집하기 위해 최소 파일 크기를 정의했습니다. 두 번째로 awk, human(x)사람이 읽을 수있는 크기를 만들기 위해 함수 가 정의됩니다. 이 부분은 여기에 답변 중 하나를 기반으로합니다 : /unix/44040/a-standard-tool-to-convert-a-byte-count-into-human-kib-mib-etc -like-du-ls1

샘플 출력은 다음과 같습니다.

  1k:    335
  2k:     16
 32k:      5
128k:     22
  1M:     54
  2M:     11
  4M:     13
  8M:      3

이 시도:

find . -type f -exec ls -lh {} \; | 
 gawk '{match($5,/([0-9.]+)([A-Z]+)/,k); if(!k[2]){print "1K"} \
        else{printf "%.0f%s\n",k[1],k[2]}}' | 
sort | uniq -c | sort -hk 2 

출력 :

 38 1K
 14 2K
  1 30K
  2 62K
  12 2M
  2 3M
  1 31M
  1 46M
  1 56M
  1 75M
  1 143M
  1 191M
  1 246M
  1 7G

설명 :

• find . -type f -exec ls -lh {} \;: 충분히 간단하고 현재 디렉토리에서 파일을 찾아서 실행하십시오 ls -lh.

• match($5,/([0-9.]+)([A-Z]+)/,k); : 파일 크기를 추출하고 각 일치 항목을 배열에 저장합니다. k .

• if(!k[2]){print "1K"}: k[2]undefined 인 경우 파일 크기는 <1K입니다. 작은 크기에 신경 쓰지 않는다고 상상하기 때문에 스크립트가 인쇄됩니다.1K 크기가 <= 1K 인 모든 파일에 대해 합니다.

• else{printf "%.0f%s\n",k[1],k[2]} : 파일이 1K보다 큰 경우 파일 크기를 가장 가까운 정수로 반올림하고 수정 자 (K, M 또는 G)와 함께 인쇄하십시오.

• sort | uniq -c : 인쇄 된 각 줄 (파일 크기)의 발생 횟수를 계산합니다.

• sort -hk 2: 사람이 읽을 수있는 형식으로 두 번째 필드에 따라 정렬합니다. 이 방법 7G은 다음에 정렬 8M됩니다.