CSV 파일을 처리하기위한 강력한 명령 줄 도구가 있습니까?

CSV 파일로 작업하며 명령 줄에서 행 또는 열의 내용을 빠르게 확인해야하는 경우가 있습니다. 많은 경우 cut에 head,, tail친구가 일을합니다. 그러나 컷은 다음과 같은 상황을 쉽게 처리 할 수 ​​없습니다.

"this, is the first entry", this is the second, 34.5

여기서 첫 번째 쉼표는 첫 번째 필드의 일부이지만 cut -d, -f1동의하지 않습니다. 솔루션을 직접 작성하기 전에 누군가이 작업에 이미 유용한 도구를 알고 있는지 궁금했습니다. 최소한 위의 예를 처리하고 CSV 형식의 파일에서 열을 반환 할 수 있어야합니다. 다른 바람직한 기능으로는 첫 번째 행에 주어진 열 이름을 기반으로 열을 선택하는 기능, 다른 인용 스타일 지원 및 탭으로 구분 된 파일 지원이 있습니다.

그러한 도구를 모르지만 Bash, Perl 또는 Python 또는 다른 일반적인 스크립팅 언어로 그러한 프로그램을 구현하는 것에 대한 제안이 있으면 그러한 제안을 신경 쓰지 않을 것입니다.

파이썬 csv모듈을 사용할 수 있습니다 .

간단한 예 :

import csv
reader = csv.reader(open("test.csv", "r"))
for row in reader:
    for col in row:
        print col

아마 너무 늦었지만 언급 할 가치가있는 또 다른 도구가 있습니다 : csvkit

http://csvkit.readthedocs.org/

다음과 같은 많은 명령 줄 도구가 있습니다.

• CSV 파일 재 포맷
• 다양한 형식 (JSON, SQL, XLS)의 CSV로 변환하거나 CSV에서 변환
• 의 동등한 cut, grep, sort등,하지만 CSV 인식,
• 다른 CSV 파일에 가입
• CSV 파일의 데이터에 대한 일반적인 SQL 쿼리를 수행합니다.

와 Perl의 직업인 것 같습니다 Text::CSV.

perl -MText::CSV -pe '
    BEGIN {$csv = Text::CSV->new();}
    $csv->parse($_) or die;
    @fields = $csv->fields();
    print @fields[1,3];
'

열 이름을 처리하는 방법에 대한 설명서를 참조하십시오. 구분 기호 및 인용 스타일은에 매개 변수를 사용하여 조정할 수 있습니다 new. Text::CSV::Separator구분자 추측 도 참조하십시오 .

명령 줄 도구 인 csvfix가 제대로 작동합니다. 그러나 직접 작성해야합니다.

http://neilb.bitbucket.org/csvfix

CSV 데이터에서 SQL 삽입을 생성하고 CSV 데이터를 확산시키는 것을 원하지 않는 모든 항목, 순서 / 선택 열, 분할 / 병합을 수행합니다.

명령 줄을 사용하고 (작업을 수행하기 위해 전체 프로그램을 만들지 않으려는 경우) 작업중 인 프로젝트 rows 을 사용하고 싶습니다 : 테이블 형식의 데이터에 대한 명령 줄 인터페이스이지만 프로그램에서 사용할 파이썬 라이브러리. 명령 행 인터페이스를 사용하면 간단한 명령으로 라이브러리에서 지원하는 CSV, XLS, XLSX, HTML 또는 기타 테이블 형식의 모든 데이터를 예쁘게 인쇄 할 수 있습니다.

rows print myfile.csv

myfile.csv이 같은 경우 :

state,city,inhabitants,area
RJ,Angra dos Reis,169511,825.09
RJ,Aperibé,10213,94.64
RJ,Araruama,112008,638.02
RJ,Areal,11423,110.92
RJ,Armação dos Búzios,27560,70.28

그런 다음 행 은 다음 과 같이 아름다운 방식으로 내용을 인쇄합니다.

+-------+-------------------------------+-------------+---------+
| state |              city             | inhabitants |   area  |
+-------+-------------------------------+-------------+---------+
|    RJ |                Angra dos Reis |      169511 |  825.09 |
|    RJ |                       Aperibé |       10213 |   94.64 |
|    RJ |                      Araruama |      112008 |  638.02 |
|    RJ |                         Areal |       11423 |  110.92 |
|    RJ |            Armação dos Búzios |       27560 |   70.28 |
+-------+-------------------------------+-------------+---------+

설치

파이썬 개발자이고 이미 pip컴퓨터에 설치되어 있다면 virtualenv 내부에서 또는 다음을 사용하여 실행하십시오 sudo.

pip install rows

데비안을 사용하는 경우 :

sudo apt-get install rows

다른 멋진 기능

형식 변환

지원되는 형식간에 변환 할 수 있습니다.

rows convert myfile.xlsx myfile.csv

쿼리

예, SQL을 CSV 파일로 사용할 수 있습니다.

$ rows query 'SELECT city, area FROM table1 WHERE inhabitants > 100000' myfile.csv
+----------------+--------+
|      city      |  area  |
+----------------+--------+
| Angra dos Reis | 825.09 |
|       Araruama | 638.02 |
+----------------+--------+

--output매개 변수를 사용하여 조회 출력을 stdout 대신 파일로 변환 할 수도 있습니다 .

파이썬 라이브러리로서

파이썬 프로그램에서도 가능합니다.

import rows
table = rows.import_from_csv('myfile.csv')
rows.export_to_txt(table, 'myfile.txt')
# `myfile.txt` will have same content as `rows print` output

즐기 셨으면 좋겠습니다!

R 은 제가 가장 좋아하는 프로그래밍 언어는 아니지만 이런 것들에 좋습니다. CSV 파일이

***********
foo.csv
***********
 col1, col2, col3
"this, is the first entry", this is the second, 34.5
'some more', "messed up", stuff

R 인터프리터 유형 내부

> x=read.csv("foo.csv", header=FALSE)

> x
                     col1                col2   col3
1 this, is the first entry  this is the second   34.5
2              'some more'           messed up  stuff
> x[1]  # first col
                      col1
1 this, is the first entry
2              'some more'
> x[1,] # first row
                      col1                col2  col3
1 this, is the first entry  this is the second  34.5

다른 요청과 관련하여 "첫 번째 행에 제공된 열 이름을 기반으로 열을 선택하는 기능"에 대해서는

> x["col1"]
                      col1
1 this, is the first entry
2              'some more'

"다른 인용 스타일 지원"에 대해서는 quoteread.csv (및 관련 함수)에 대한 인수를 참조하십시오 . "탭으로 구분 된 파일 지원"에 대해서는 sepread.csv에 대한 인수 ( sep'\ t'로 설정) 를 참조하십시오 .

자세한 내용은 온라인 도움말을 참조하십시오.

> help(read.csv)

csvtool을 한 번 사용 했는데 많은 시간과 문제가 발생했습니다. 쉘에서 호출 가능합니다.

http://caml.inria.fr/cgi-bin/hump.en.cgi?contrib=447

Miller 는 CSV (헤더 포함)를 포함하여 이름 기반 데이터를 조작 할 수있는 훌륭한 도구입니다. 이름을 신경 쓰지 않고 CSV 파일의 첫 번째 열을 추출하려면 다음과 같은 작업을 수행하십시오

printf '"first,column",second,third\n1,2,3\n' |
  mlr --csv --implicit-csv-header --headerless-csv-output cut -f 1

또는, 당신은 awk 마술을 시도 할 수 있습니다. Howewer, 나는 좋은 awk 사용자가 아니며 이것이 제대로 작동하는지 확인할 수 없으며 어떻게 해야하는지.

GNU Recutils 및 crush-tools 도 살펴보십시오 .

( http://www.reddit.com/r/commandline/comments/mfcu9/anyone_using_gnu_recutils_is_it_outdatedsuperceded/ 를 통해 )

커맨드 라인에서 파이썬을 사용하려면 pythonpy ( https://github.com/Russell91/pythonpy )를 확인하십시오 .

$ echo $'a,b,c\nd,e,f' | py '[x[1] for x in csv.reader(sys.stdin)']
b
e

"csvtool"이 패키지를 사용해보십시오 CSV 파일을 처리하기위한 편리한 명령 줄 도구입니다

cissy 는 명령 줄 csv 처리도 수행합니다. 대부분의 배포판에서 사용할 수있는 rpm 및 deb 패키지와 함께 C (작은 / 경량)로 작성되었습니다.

예제를 사용하여 :

echo '"this, is the first entry", this is the second, 34.5' | cissy -c 1
"this, is the first entry"

또는

echo '"this, is the first entry", this is the second, 34.5' | cissy -c 2
 this is the second

또는

echo '"this, is the first entry", this is the second, 34.5' | cissy -c 2-
 this is the second, 34.5

CSV 형식의 파일 읽기 / 쓰기를위한 Curry 라이브러리 도 있습니다 : CSV .

github repo 구조적 텍스트 도구 에는 관련 Linux 명령 줄 도구의 유용한 목록이 있습니다. 특히 구분 기호 구분 값 섹션에는 요청 된 작업을 직접 지원하는 몇 가지 CSV 가능 도구가 나열되어 있습니다.

Rust ( Github )로 작성된 빠른 CSV 명령 줄 툴킷 xsv를 추천 합니다.

Ripgrep 의 작가에 의해 작성된 .

에 추천 우리가 우리의 CSV 처리 142x 빠른 만든 방법 ( 레딧 스레드 ).

가장 좋은 도구 중 하나는 Miller입니다 ( http://johnkerl.org/miller/doc/index.html ). CSV, TSV 및 테이블 형식 JSON과 같은 이름 색인 데이터의 경우 awk, sed, cut, join 및 sort와 같습니다.

예를 들어

echo '"this, is the first entry", this is the second, 34.5' | \
mlr --icsv --implicit-csv-header cat

너에게 준다

1=this, is the first entry,2= this is the second,3= 34.5

TSV를 원한다면

echo '"this, is the first entry", this is the second, 34.5' | \
mlr --c2t --implicit-csv-header cat

당신에게 제공합니다 (헤더를 제거 할 수 있습니다)

1       2       3
this, is the first entry         this is the second      34.5

첫 번째와 세 번째 열을 원하면 순서를 변경하십시오.

echo '"this, is the first entry", this is the second, 34.5' | \
mlr --csv --implicit-csv-header --headerless-csv-output cut -o -f 3,1

너에게 준다

 34.5,"this, is the first entry"

터미널에서 시각적 / 대화 형 도구를 원한다면 VisiData를 진심으로 추천합니다.

빈도 표 (위 그림 참조), 피벗, 용융, 산점도, Python을 사용한 필터링 / 계산 등이 있습니다.

당신은 그렇게 CSV 파일을 전달할 수 있습니다

vd hello.csv

특정 옵션은 CSV있다 : --csv-dialect, --csv-delimiter, --csv-quotechar, 및 --csv-skipinitialspaceCSV 파일의 미세 조정 처리합니다.

awk 솔루션

awk -vq='"' '
func csv2del(n) {
  for(i=n; i<=c; i++)
    {if(i%2 == 1) gsub(/,/, OFS, a[i])
    else a[i] = (q a[i] q)
    out = (out) ? out a[i] : a[i]}
  return out}
{c=split($0, a, q); out=X;
  if(a[1]) $0=csv2del(1)
  else $0=csv2del(2)}1' OFS='|' file