쉼표로 구분 된 파일에서만 따옴표 사이에서 쉼표를 제거하십시오.

쉼표 ( ,) 로 구분 된 입력 파일이 있습니다. 큰 따옴표로 묶인 필드에는 쉼표가 있습니다. 다음은 샘플 행입니다

123,"ABC, DEV 23",345,534.202,NAME

큰 따옴표와 큰 따옴표 내부에서 발생하는 모든 쉼표를 제거해야합니다. 따라서 위의 줄은 아래와 같이 파싱되어야합니다.

123,ABC DEV 23,345,534.202,NAME

나는 다음을 사용 sed했지만 예상 결과 를 얻지 못했습니다.

sed -e 's/\(".*\),\(".*\)/\1 \2/g'

어떤 빠른 트릭 sed, awk또는 다른 유닉스 유틸리티하세요?

따옴표가 균형을 이루는 경우 다른 모든 따옴표 사이에서 쉼표를 제거하려면 다음과 awk같이 표현할 수 있습니다 .

awk -F'"' -v OFS='' '{ for (i=2; i<=NF; i+=2) gsub(",", "", $i) } 1' infile

산출:

123,ABC DEV 23,345,534.202,NAME

설명

-F"차종은 다른 모든 필드 간 인용 텍스트된다는 뜻 이중 인용 부호의 라인을 분리 awk가. for-loop는 gsub다른 모든 필드에서 쉼표 ( ",")를 아무 것도 ( "") 로 바꾸어 전 세계적으로 대체하기에 짧습니다 . 1끝에 기본 코드 블록을 호출합니다 { print $0 }.

루프 와 함께 sed를 한 번만 사용 하면 좋은 응답 이 있습니다 .

echo '123,"ABC, DEV 23",345,534,"some more, comma-separated, words",202,NAME'|
  sed ':a;s/^\(\([^"]*,\?\|"[^",]*",\?\)*"[^",]*\),/\1 /;ta'
123,"ABC  DEV 23",345,534,"some more  comma-separated  words",202,NAME

설명:

• :a; 퍼터 브랜치의 라벨입니다
• s/^\(\([^"]*,\?\|"[^",]*",\?\)*"[^",]*\),/\1 / 3 개의 동봉 된 부품을 포함 할 수 있음
  • 첫 번째 두 번째 : [^"]*,\?\|"[^",]*",\?큰 따옴표가없는 문자열, 쉼표 또는 쉼표가없는 두 개의 큰 따옴표로 묶인 문자열과 일치합니다 .
  • 첫 번째 RE 부분 보다 이전에 설명한 부분 2보다 많은 반복이 뒤 따르고 1 개의 큰 따옴표와 일부 caracteres가 나오지만 큰 따옴표 나 코마는 없습니다.
  • 코마가 뒤 따르는 첫 번째 RE 부분.
  • Nota, 나머지 줄은 건드릴 필요가 없습니다
• ta:a이전 s/명령이 약간 변경 되면 반복됩니다 .

균형 따옴표 사이에서 여러 개의 쉼표를 처리 할 수있는 일반적인 솔루션에는 중첩 된 대체가 필요합니다. 주어진 입력의 모든 줄을 처리하고 다른 모든 따옴표 쌍으로 쉼표로만 대체하는 솔루션을 perl로 구현합니다.

perl -pe 's/ "  (.+?  [^\\])  "               # find all non escaped 
                                              # quoting pairs
                                              # in a non-greedy way

           / ($ret = $1) =~ (s#,##g);         # remove all commas within quotes
             $ret                             # substitute the substitution :)
           /gex'

또는 간단히

perl -pe 's/"(.+?[^\\])"/($ret = $1) =~ (s#,##g); $ret/ge'

처리하려는 텍스트를 명령으로 파이프하거나 마지막 명령 행 인수로 처리 할 텍스트 파일을 지정할 수 있습니다.

적절한 CSV 파서가있는 언어를 사용합니다. 예를 들면 다음과 같습니다.

ruby -r csv -ne '
  CSV.parse($_) do |row|
    newrow = CSV::Row.new [], []
    row.each {|field| newrow << field.delete(",")}
    puts newrow.to_csv
  end
' < input_file

두 번째 인용문이 잘못 배치되었습니다.

sed -e 's/\(".*\),\(.*"\)/\1 \2/g'

또한 정규식을 사용하면 텍스트의 가장 긴 부분과 일치하는 경향이 있습니다. 즉, 문자열에 인용 필드가 둘 이상 있으면 작동하지 않습니다.

sed에서 여러 인용 필드를 처리하는 방법

sed -e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' -e 's/\"//g'

그러나 이것은 인용 된 필드 당 쉼표를 두 개 이상 포함 할 수있는 입력을 사용하여 sed의 첫 번째 표현식이 단일 필드의 최대 쉼표 내용 수만큼 또는 반복 될 때까지 반복되어야합니다 출력을 전혀 변경하지 않습니다.

둘 이상의 표현식으로 sed를 실행하면 여러 개의 sed 프로세스가 실행되고 "tr"이 모두 열린 파이프로 실행되는 것보다 효율적이어야합니다.

그러나 입력 형식이 올바르지 않으면 바람직하지 않은 결과가 발생할 수 있습니다. 즉, 중첩 된 따옴표, 종료되지 않은 따옴표입니다.

실행중인 예제 사용 :

echo '123,"ABC, DEV 23",345,534,"some more, comma-separated, words",202,NAME' \
| sed -e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' \
-e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' -e 's/\"//g'

산출:

123,ABC  DEV 23,345,534,some more  comma-separated  words,202,NAME

펄에서-당신은 Text::CSV이것을 파싱하고 사소하게 할 수 있습니다 :

#!/usr/bin/env perl
use strict;
use warnings;

use Text::CSV; 

my $csv = Text::CSV -> new();

while ( my $row = $csv -> getline ( \*STDIN ) ) {
    #remove commas in each field in the row
    $_ =~ s/,//g for @$row;
    #print it - use print and join, rather than csv output because quotes. 
    print join ( ",", @$row ),"\n";
}

인쇄 할 수는 Text::CSV있지만 따옴표를 유지하는 경향이 있습니다. ( 단, 출력에 따옴표를 제거Text::CSV 하는 대신 처음부터 사용하여 구문 분석 할 수 있습니다 .)

문자열의 모든 문자를 통해 루프하는 함수를 만들었습니다.
문자가 인용문이면 검사 (b_in_qt)가 true로 표시됩니다.
b_in_qt가 true 인 동안 모든 쉼표는 공백으로 바뀝니다.
다음 쉼표를 찾으면 b_in_qt가 false로 설정됩니다.

FUNCTION f_replace_c (str_in  VARCHAR2) RETURN VARCHAR2 IS
str_out     varchar2(1000)  := null;
str_chr     varchar2(1)     := null;
b_in_qt     boolean         := false;

BEGIN
    FOR x IN 1..length(str_in) LOOP
      str_chr := substr(str_in,x,1);
      IF str_chr = '"' THEN
        if b_in_qt then
            b_in_qt := false;
        else
            b_in_qt := true;
        end if;
      END IF;
      IF b_in_qt THEN
        if str_chr = ',' then
            str_chr := ' ';
        end if;
      END IF;
    str_out := str_out || str_chr;
    END LOOP;
RETURN str_out;
END;

str_in := f_replace_c ("blue","cat,dog,horse","",yellow,"green")

RESULTS
  "blue","cat dog horse","",yellow,"green"