«large-files» 태그된 질문

큰 텍스트 파일 (> 2GB)이 있고 cat줄 X을 Y원한다고 가정합니다 (예 : 57890000 ~ 57890010). 내가 이해 한 것에서 나는 배관 head을 통해 tail또는 그 반대로 배관함으로써 이것을 할 수있다. head -A /path/to/file | tail -B 또는 대안 적으로 tail -C /path/to/file | head -D 여기서 A, B, C및 D파일의 …

132 tail  cat  large-files  head 

거대한 (70GB), 한 줄 의 텍스트 파일이 있고 문자열 (토큰)을 바꾸고 싶습니다. 토큰 <unk>을 다른 더미 토큰 ( 장갑 문제 ) 으로 바꾸고 싶습니다 . 나는 시도했다 sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new 그러나 출력 파일 corpus.txt.new에는 0 바이트가 있습니다! 나는 또한 perl을 사용해 보았습니다. perl -pe 's/<unk>/<raw_unk>/g' < …

126 text-processing  sed  large-files 

내 거대한 (최대 2 GiB) 텍스트 파일에는 모든 줄의 약 100 정확한 사본이 포함되어 있습니다 (제 경우에는 CSV와 같은 데이터 테이블이므로 쓸모가 없습니다). 내가 필요로하는 것은 원래 순서를 유지하면서 모든 반복을 제거하는 것이 좋습니다 (바람직하게는 성능을 크게 향상시키기 위해 희생 될 수 있음). 결과적으로 각 라인은 고유해야합니다. 100 개의 동일한 …

126 files  text-processing  large-files 

상당히 큰 파일 (35Gb)이 있고이 파일을 제자리에서 필터링하고 싶습니다 (예 : 다른 파일을위한 충분한 디스크 공간이 없음). 특히 grep하고 일부 패턴을 무시하고 싶습니다. 다른 파일을 사용하지 않고이 작업을 수행합니까? foo:예를 들어 포함하는 모든 줄을 필터링하고 싶다고 가정 해 봅시다 .

54 text-processing  grep  large-files 

두 개의 큰 파일이 있습니다 (각 6GB). \n구분 기호 로 줄 바꿈 ( )을 사용 하여 분류되지 않습니다 . 어떻게 차이점을 알 수 있습니까? 24 시간 미만이 소요됩니다.

32 performance  diff  large-files 

SCP로 시도했지만 "네거티브 파일 크기"라고 표시되어 있습니다. >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size 또한 SFTP를 사용하여 2GB의 파일이 전송 될 때까지 정상적으로 작동 한 다음 중지했습니다. sftp> put matlab.iso Uploading matlab.iso to /home/x/matlab.iso matlab.iso -298% 2021MB -16651.-8KB/s 00:5d o_upload: offset < 0 무엇이 잘못 될 수 있는지 아십니까? SCP와 …

27 scp  sftp  large-files 

25GB 텍스트 파일이있어 몇 줄로만 문자열을 교체해야합니다. sed성공적으로 사용할 수 있지만 실행하는 데 시간이 오래 걸립니다. sed -i 's|old text|new text|g' gigantic_file.sql 더 빠른 방법이 있습니까?

25 sed  replace  large-files 

ext4결함이없고 불량 섹터가없는 (자기) 하드 드라이브에 900GB 파티션이 있습니다. 빈 lost+found디렉토리를 제외하고 파티션이 완전히 비어 있습니다. 예약 된 파일 시스템 블록 수를 1 %로 설정 한 것을 제외하고는 기본 매개 변수를 사용하여 파티션을 포맷했습니다. ~ 900MB 파일 xubuntu-15.04-desktop-amd64.iso을을 사용하여 파티션의 마운트 지점 디렉토리로 다운로드했습니다 wget. 다운로드가 완료되면 파일이 네 개의 …

19 filesystems  ext4  large-files 

약 100000 개의 작은 파일이있는 디렉토리가 있습니다 (각 파일은 1-3 줄, 각 파일은 텍스트 파일입니다). 크기는 디렉토리가 크지 않습니다 (<2GB). 이 데이터는 전문적으로 관리되는 NFS 서버에 있습니다. 서버는 Linux를 실행합니다. 파일 시스템이 ext3이라고 생각하지만 확실하지 않습니다. 또한 서버에 대한 루트 액세스 권한이 없습니다. 이 파일은 대규모 과학 실험의 결과물이며 제어 …

19 filesystems  large-files 

각각 1GB보다 큰 파일이 몇 개 있습니다. 파일에서 마지막 몇 바이트를 제거해야합니다. 어떻게하니? 디스크 공간을 절약하기 위해 파일을 편집하는 것을 선호합니다. HP-UX에 있습니다.

18 files  editors  hp-ux  large-files 

비디오 및 오디오와 같은 큰 파일 및 flac 형식의 파티션에 대한 파일 시스템을 작성할 때 -T largefile 플래그 를 사용하는 것이 유용 합니까? 플래그가 있고없는 플래그로 동일한 파티션을 테스트했으며 tune2fs -l [partition]을 사용하여 "large_file"이 활성화 된 "파일 시스템 기능"을 확인했습니다. 따라서 -T 플래그 largefile 을 사용할 필요는 없습니까?

17 filesystems  ext4  ext3  large-files  ext2 

이 다른 질문과 같은 정신으로 : 큰 파일에서 cat line X to line Y : 거대한 텍스트 파일에서 주어진 라인 세트 (예 : 라인 과 사이의 모든 라인)를 Emacs 내 에서 열고 버퍼에 표시 하는 방법이 있습니까?XY 예를 들어 파일에서 57890000 ~ 57890010 라인 사이의 모든 라인을 열고 버퍼에 표시하십시오. …

10 emacs  large-files 

250MB 텍스트 파일이 모두 한 줄에 있습니다. 이 파일에서 a문자를 b문자 로 바꾸고 싶습니다 . sed -e "s/a/b/g" < one-line-250-mb.txt 다음과 같이 실패합니다. sed: couldn't re-allocate memory 이런 종류의 작업은 많은 메모리를 할당하지 않고 인라인으로 수행 될 수있는 것 같습니다. 작업에 더 적합한 도구가 있습니까, 아니면 더 나은 방법이 sed있습니까? …

10 text-processing  sed  performance  large-files  out-of-memory