줄 바꿈이 파일의 마지막 문자 인 경우 어떻게 삭제합니까?

마지막 줄 바꿈이 파일의 마지막 문자 인 경우 삭제하려는 일부 파일이 있습니다. od -c내가 실행하는 명령이 새로운 줄로 파일을 작성한다는 것을 보여줍니다.

0013600   n   t  >  \n

sed로 몇 가지 트릭을 시도했지만 생각할 수있는 최선은 트릭을 수행하지 않는 것입니다.

sed -e '$s/\(.*\)\n$/\1/' abc

이 작업을 수행하는 방법에 대한 아이디어가 있습니까?

perl -pe 'chomp if eof' filename >filename2

또는 파일을 제자리에 편집하려면 다음을 수행하십시오.

perl -pi -e 'chomp if eof' filename

^{[편집자 주 : -pi -e원래 -pie는 였지만 여러 주석가가 언급하고 @hvd가 설명했듯이 후자는 작동하지 않습니다.]}

이것은 내가 본 awk 웹 사이트에서 '펄 신성 모독'으로 묘사되었습니다.

그러나 테스트에서 효과가있었습니다.

쉘 명령 대체가 후행 줄 바꾸기 문자를 제거 한다는 사실을 이용할 수 있습니다 .

bash, ksh, zsh에서 작동하는 간단한 형식 :

printf %s "$(< in.txt)" > out.txt

휴대용 (POSIX 호환) 대안 (약간 덜 효율적) :

printf %s "$(cat in.txt)" > out.txt

노트 :

• 경우 in.txt에 끝 여러 줄 바꿈 문자, 명령 치환은 제거 모든 중 - 덕분에, @Sparhawk을. 후행 줄 바꿈 이외의 공백 문자는 제거하지 않습니다.
• 이 방법 은 전체 입력 파일을 메모리로 읽으 므로 더 작은 파일에만 권장됩니다.
• printf %s줄 바꿈이 출력에 추가되지 않도록합니다 (비표준의 POSIX 호환 대안입니다 echo -n. http://pubs.opengroup.org/onlinepubs/009696799/utilities/echo.html 및 https : //unix.stackexchange 참조). com / a / 65819 )

다른 답변에 가이드 :

• Perl 을 사용할 수 있다면 허용되는 답변을 찾으 십시오. 간단하고 메모리 효율적입니다 (전체 입력 파일을 한 번에 읽지 않음).

• 그렇지 않으면, ghostdog74의 Awk 답변을 고려 하십시오 - 모호하지만 메모리 효율적입니다 . 더 읽기 상당 (POSIX 호환)입니다 :

  • awk 'NR > 1 { print prev } { prev=$0 } END { ORS=""; print }' in.txt
  • END블록 에서 최종 행을 처리 할 수 ​​있도록 인쇄가 한 줄 지연되어 \n출력 레코드 구분 기호 ( OFS)를 빈 문자열 로 설정하여 후행없이 인쇄 합니다.

• 원본을 대체하는 임시 파일을 작성하는 대신 실제로 편집 하는 상세하지만 빠르고 강력한 솔루션을 원한다면 jrockway의 Perl 스크립트를 고려하십시오 .

headGNU coreutils 에서이 작업을 수행 할 수 있으며 파일 끝과 관련된 인수를 지원합니다. 마지막 바이트 사용을 피하려면 :

head -c -1

끝나는 줄 바꿈을 테스트하려면 tail및 을 사용할 수 있습니다 wc. 다음 예제는 결과를 임시 파일에 저장 한 후 원본을 덮어 씁니다.

if [[ $(tail -c1 file | wc -l) == 1 ]]; then
  head -c -1 file > file.tmp
  mv file.tmp file
fi

"in-place"편집을 위해 spongefrom moreutils을 사용할 수도 있습니다 .

[[ $(tail -c1 file | wc -l) == 1 ]] && head -c -1 file | sponge file

.bashrc파일에 이것을 넣어서 일반적인 재사용 가능한 기능을 만들 수도 있습니다.

# Example:  remove-last-newline < multiline.txt
function remove-last-newline(){
    local file=$(mktemp)
    cat > $file
    if [[ $(tail -c1 $file | wc -l) == 1 ]]; then
        head -c -1 $file > $file.tmp
        mv $file.tmp $file
    fi
    cat $file
}

최신 정보

에서 언급 한 바와 같이 KarlWilbur 의견과에서 사용 Sorentar의 대답 , truncate --size=-1대체 할 수 head -c-1및 현재 위치에서 지원은 편집.

head -n -1 abc > newfile
tail -n 1 abc | tr -d '\n' >> newfile

편집 2 :

다음은 잠재적으로 거대한 배열을 축적하지 않는 awk버전 (수정) 입니다.

awk '{if (라인) 인쇄 라인; line = $ 0} 끝 {printf $ 0} 'abc

둔한 사람

   awk '{q=p;p=$0}NR>1{print q}END{ORS = ""; print p}' file

coreutils의 GNU echo가 필요한 단일 행 파일을위한 매우 간단한 방법 :

/bin/echo -n $(cat $file)

제대로하려면 다음과 같은 것이 필요합니다.

use autodie qw(open sysseek sysread truncate);

my $file = shift;
open my $fh, '+>>', $file;
my $pos = tell $fh;
sysseek $fh, $pos - 1, 0;
sysread $fh, my $buf, 1 or die 'No data to read?';

if($buf eq "\n"){
    truncate $fh, $pos - 1;
}

읽고 추가하기 위해 파일을 엽니 다. 추가를 위해 여는 seek것은 파일의 끝 부분에 이미 들어 갔음을 의미 합니다. 그런 다음 파일 끝의 숫자 위치를로 얻습니다 tell. 이 숫자를 사용하여 한 문자를 찾은 다음 그 문자를 읽습니다. 줄 바꿈이면 파일을 줄 바꿈 앞의 문자로 자릅니다. 그렇지 않으면 아무것도하지 않습니다.

이것은 모든 입력에 대해 일정한 시간과 일정한 공간에서 실행되며 더 이상 디스크 공간이 필요하지 않습니다.

다음은 깔끔하고 깔끔한 Python 솔루션입니다. 나는 여기에서 간결한 시도를하지 않았다.

파일 복사본을 만들고 복사본의 마지막 줄에서 줄 바꿈을 제거하는 대신 파일을 수정합니다. 파일이 크면 이것이 가장 좋은 답변으로 선택된 Perl 솔루션보다 훨씬 빠릅니다.

마지막 2 바이트가 CR / LF 인 경우 파일을 2 바이트로 자르거나 마지막 바이트가 LF 인 경우 1 바이트 씩 자릅니다. 마지막 바이트가 (CR) LF가 아닌 경우 파일 수정을 시도하지 않습니다. 오류를 처리합니다. 파이썬 2.6에서 테스트되었습니다.

이것을 "striplast"라는 파일에 넣고 chmod +x striplast.

#!/usr/bin/python

# strip newline from last line of a file


import sys

def trunc(filename, new_len):
    try:
        # open with mode "append" so we have permission to modify
        # cannot open with mode "write" because that clobbers the file!
        f = open(filename, "ab")
        f.truncate(new_len)
        f.close()
    except IOError:
        print "cannot write to file:", filename
        sys.exit(2)

# get input argument
if len(sys.argv) == 2:
    filename = sys.argv[1]
else:
    filename = "--help"  # wrong number of arguments so print help

if filename == "--help" or filename == "-h" or filename == "/?":
    print "Usage: %s <filename>" % sys.argv[0]
    print "Strips a newline off the last line of a file."
    sys.exit(1)


try:
    # must have mode "b" (binary) to allow f.seek() with negative offset
    f = open(filename, "rb")
except IOError:
    print "file does not exist:", filename
    sys.exit(2)


SEEK_EOF = 2
f.seek(-2, SEEK_EOF)  # seek to two bytes before end of file

end_pos = f.tell()

line = f.read()
f.close()

if line.endswith("\r\n"):
    trunc(filename, end_pos)
elif line.endswith("\n"):
    trunc(filename, end_pos + 1)

추신 "펄 골프"의 정신으로, 여기 제가 가장 짧은 파이썬 솔루션이 있습니다. 전체 파일을 표준 입력에서 메모리로 넘기고 모든 줄 바꿈을 끝까지 제거하고 결과를 표준 출력에 씁니다. 펄만큼 간결하지는 않다. 이런 까다로운 속임수로 펄을 이길 수는 없습니다.

호출에서 "\ n"을 제거하면 .rstrip()여러 개의 빈 줄을 포함하여 파일 끝에서 모든 공백이 제거됩니다.

이것을 "slurp_and_chomp.py"에 넣고 실행하십시오 python slurp_and_chomp.py < inputfile > outputfile.

import sys

sys.stdout.write(sys.stdin.read().rstrip("\n"))

빠른 솔루션은 gnu 유틸리티를 사용하고 있습니다 truncate.

[ -z $(tail -c1 file) ] && truncate -s-1 file

파일에 줄 바꿈이 있으면 테스트가 적용됩니다.

제거는 매우 빠르며, 실제로 제자리에 있으며, 새로운 파일이 필요하지 않으며 검색은 끝에서 1 바이트 ( tail -c1) 만 읽습니다 .

또 다른 펄 WTDI :

perl -i -p0777we's/\n\z//' filename

$ perl -e 'local $ /; $ _ = <>; s / \ n $ //; 인쇄 '텍스트 파일 .txt

sed의 모든 문자 일치 (줄 바꾸기 포함) 도 참조하십시오 .

dd 사용 :

file='/path/to/file'
[[ "$(tail -c 1 "${file}" | tr -dc '\n' | wc -c)" -eq 1 ]] && \
    printf "" | dd  of="${file}" seek=$(($(stat -f "%z" "${file}") - 1)) bs=1 count=1
    #printf "" | dd  of="${file}" seek=$(($(wc -c < "${file}") - 1)) bs=1 count=1

perl -pi -e 's/\n$// if(eof)' your_file

유닉스 파일 형식을 가정하고 마지막 줄 바꿈 만 원한다고 가정하십시오.

sed -e '${/^$/d}'

여러 줄 바꿈에서는 작동하지 않습니다 ...

* 마지막 줄이 빈 줄인 경우에만 작동합니다.

또 다른 대답은 FTR (및 내가 좋아하는 것!)입니다. 백틱을 통해 출력을 제거하고 캡처하려는 것을 에코 / 고양이하십시오. 마지막 줄 바꿈이 제거됩니다. 예를 들면 다음과 같습니다.

# Sadly, outputs newline, and we have to feed the newline to sed to be portable
echo thingy | sed -e 's/thing/sill/'

# No newline! Happy.
out=`echo thingy | sed -e 's/thing/sill/'`
printf %s "$out"

# Similarly for files:
file=`cat file_ending_in_newline`
printf %s "$file" > file_no_newline

POSIX SED :

'$ {/ ^ $ / d}'

$ - match last line


{ COMMANDS } - A group of commands may be enclosed between { and } characters. This is particularly useful when you want a group of commands to be triggered by a single address (or address-range) match.

파일을 읽거나 출력하는 대신 파이프 / 리디렉션으로 작업해야하는 경우 좋은 솔루션입니다. 이것은 한 줄 또는 여러 줄로 작동합니다. 후행 줄 바꿈이 있는지 여부에 관계없이 작동합니다.

# with trailing newline
echo -en 'foo\nbar\n' | sed '$s/$//' | head -c -1

# still works without trailing newline
echo -en 'foo\nbar' | sed '$s/$//' | head -c -1

# read from a file
sed '$s/$//' myfile.txt | head -c -1

세부:

• head -c -1문자가 무엇이든 관계없이 문자열의 마지막 문자를 자릅니다. 따라서 문자열이 줄 바꿈으로 끝나지 않으면 문자가 손실됩니다.
• 따라서이 문제를 해결하기 위해 후행 줄 바꿈이없는 다른 명령을 추가합니다 sed '$s/$//'. 첫 번째 $는 마지막 줄에만 명령을 적용한다는 의미입니다. s/$//"줄 끝"을 "아무것도 없음"으로 바꾸는 것을 의미합니다. 기본적으로 아무것도하지 않습니다. 그러나 후행 줄 바꿈을 추가하지 않으면 부작용이 있습니다.

참고 : Mac의 기본값 head은 -c옵션을 지원하지 않습니다 . 대신 대신 brew install coreutils사용할 수 있습니다 ghead.

내가 이것을하고 싶었던 유일한 시간은 코드 골프를위한 것입니다. 그런 다음 코드를 파일에서 복사하여 echo -n 'content'>file명령문에 붙여 넣었습니다 .

sed ':a;/^\n*$/{$d;N;};/\n$/ba' file

비슷한 문제가 있었지만 Windows 파일로 작업하고 있었고 Linux에서 내 솔루션 인 CRLF를 유지해야합니다.

sed 's/\r//g' orig | awk '{if (NR>1) printf("\r\n"); printf("%s",$0)}' > tweaked

sed -n "1 x;1 !H
$ {x;s/\n*$//p;}
" YourFile

파일에서 \ n의 마지막 항목을 제거해야합니다. 대용량 파일에서 작동하지 않음 (sed 버퍼 제한으로 인해)

루비:

ruby -ne 'print $stdin.eof ? $_.strip : $_'

또는:

ruby -ane 'q=p;p=$_;puts q if $.>1;END{print p.strip!}'