bash에서 임의의 바이트 수 오프셋에서 파일을 읽을 수 있습니까?

8GB 로그 (텍스트) 어딘가에 날짜를 찾고 싶습니다.

전체 순차 읽기를 무시하고 먼저 파일의 이진 분할 (크기)을 수행하거나 파일 시스템을 탐색하여 inodes( 아주 거의 알지 못함 ) 적절한 분할을 찾을 때까지 각 분할 지점에서 읽기를 시작할 수 있습니까? 날짜가 포함 된 줄을 검색하려면 어디에서 텍스트를 검색해야합니까?

tail의 마지막 줄 읽기는 정상적인 순차적 읽기를 사용하지 않으므로이 기능이 어떻게 bash에서 사용 가능한지 궁금하거나 Python 또는 C / C ++을 사용 해야하는지 궁금합니다. 그러나 bash옵션에 특히 관심이 있습니다. ..

for (( block = 0; block < 16; block += 1 ))
do 
    echo $block; 
    dd if=INPUTFILE skip=$((block*512))MB bs=64 count=1 status=noxfer 2> /dev/null | \
        head -n 1
done

which .. 임시 분할 파일을 작성하지 않고 각 실행에서 * 512MB의 데이터 블록을 건너 뛰고 해당 위치에서 64 바이트를 읽고 출력을 해당 64 바이트의 첫 번째 행으로 제한합니다.

필요하다고 생각하는대로 64를 조정할 수 있습니다.

원하는 것처럼 들립니다.

tail -c +1048576

또는 건너 뛰려는 바이트 수. 더하기 부호는 꼬리 대신 파일의 시작부터 끝이 아닌 측정을 지시합니다. GNU 버전의 tail을 사용하는 경우 다음과 같이 작성할 수 있습니다.

tail -c +1M

잘라낸 후 고정 된 수의 바이트를 얻으려면 나머지 모든 파일 대신 head를 통해 파이프하십시오.

tail -c +1048576 | head -c 1024

빠른 구문 분석을 위해 로그를 512MiB 청크로 분할하기 위해 이와 같은 것을 시도했습니다.

split <filename> -b 536870912

파일을 찾고 있다면 다음과 같이 작동합니다.

for file in x* ; do
  echo $file
  head -n 1 $file
done

해당 출력을 사용하여 날짜에 맞출 파일을 결정하십시오.

여기 내 스크립트가 있습니다. 첫 번째 필드가 내 번호와 일치하는 첫 줄을 찾고 있습니다. 행은 첫 번째 필드에 따라 정렬됩니다. dd를 사용하여 128K 블록의 첫 번째 줄을 확인한 다음 블록으로 이동하여 검색을 수행합니다. 파일이 1M 이상이면 효율성이 향상됩니다.

모든 의견이나 정정 부탁드립니다!

#!/bin/bash

search=$1;
f=$2;

bs=128;

max=$( echo $(du $f | cut -f1)" / $bs" | bc );
block=$max;
for i in $(seq 0 $max); do
 n=$(dd bs=${bs}K skip=$i if=$f 2> /dev/null| head -2 | tail -1 | cut -f1)
 if [ $n -gt $search ]; then
  block=`expr $i - 1` 
  break;
 fi
done; 
dd bs=${bs}K skip=$block if=$f 2> /dev/null| tail -n +2 | awk -v search="$search" '$1==search{print;exit 1;};$1>search{exit 1;};';

* 편집 * ** grep이 훨씬 빨라지고 더 잘 나옵니다.