PostgreSQL의 PL / pgSQL 출력을 CSV 파일로 저장
답변:
서버 나 클라이언트에서 결과 파일을 원하십니까?
서버 측
재사용하거나 자동화하기 쉬운 것을 원한다면 Postgresql의 내장 COPY 명령을 사용할 수 있습니다 . 예 :
Copy (Select * From foo) To '/tmp/test.csv' With CSV DELIMITER ',' HEADER;이 방법은 전적으로 원격 서버에서 실행되며 로컬 PC에는 쓸 수 없습니다. 또한 Postgres는 해당 시스템의 로컬 파일 시스템에서 불쾌한 일을 멈출 수 없기 때문에 Postgres "슈퍼 유저"(일반적으로 "루트")로 실행해야합니다.
당신이 사용할 수 있기 때문에 실제로는 수퍼 유저로 연결되어 있어야 의미하지 않는다 (즉, 다른 종류의 보안 위험이 될 것 자동화) 하는 옵션을 함수 만들기 위해 당신은 슈퍼 유저 인 것처럼 실행을 .SECURITY DEFINERCREATE FUNCTION
중요한 부분은 함수가 보안을 우회하지 않고 추가 검사를 수행해야한다는 것입니다. 따라서 필요한 정확한 데이터를 내보내는 함수를 작성하거나 다양한 옵션을 허용하는 한 작성할 수 있습니다 엄격한 화이트리스트를 만나십시오. 두 가지를 확인해야합니다.
- 어떤 파일은 사용자가 디스크의 읽기 / 쓰기로 허용해야 하는가? 예를 들어이 디렉토리는 특정 디렉토리 일 수 있으며 파일 이름에 적합한 접두사 또는 확장자가 있어야합니다.
- 어떤 테이블 사용자가 데이터베이스에 읽기 / 쓰기 할 수 있어야한다? 이것은 일반적으로
GRANT데이터베이스에서 s 로 정의 되지만 함수는 이제 수퍼 유저로 실행되므로 일반적으로 "범위를 벗어난"테이블에 완전히 액세스 할 수 있습니다. 다른 사람이 함수를 호출하고 "사용자"테이블의 끝에 행을 추가하지 못하게하고 싶을 것입니다.
필자는 엄격한 조건을 충족하는 파일 및 테이블을 내보내거나 가져 오는 함수의 예를 포함 하여이 접근법을 확장하는 블로그 게시물을 작성 했습니다 .
고객 입장에서
다른 방법은 클라이언트 측 , 즉 응용 프로그램이나 스크립트에서 파일 처리 를 수행하는 것 입니다. Postgres 서버는 어떤 파일을 복사하고 있는지 알 필요가 없으며 데이터를 뱉어 내고 클라이언트는 파일을 어딘가에 넣습니다.
이것에 대한 기본 구문은 COPY TO STDOUT명령이며 pgAdmin과 같은 그래픽 도구는 멋진 대화 상자로 감싸줍니다.
psql명령 줄 클라이언트 라는 특별한 "메타 명령"이 \copy"진짜"모든 같은 옵션을 소요 COPY하지만, 클라이언트 내에서 실행됩니다 :
\copy (Select * From foo) To '/tmp/test.csv' With CSV;메타 명령은 SQL 명령과 달리 줄 바꿈으로 종료되므로 종료는 없습니다 .
에서 워드 프로세서 :
COPY를 psql 명령 \ copy와 혼동하지 마십시오. \ copy는 CODY FROM STDIN 또는 COPY TO STDOUT을 호출 한 다음 psql 클라이언트가 액세스 할 수있는 파일로 데이터를 페치 / 저장합니다. 따라서 파일 접근성과 접근 권한은 \ copy가 사용될 때 서버가 아닌 클라이언트에 의존합니다.
응용 프로그램 프로그래밍 언어 는 데이터 푸시 또는 페치에 대한 지원도 제공 할 수 있지만 입 / 출력 스트림을 연결하는 방법이 없기 때문에 일반적으로 표준 SQL 문 내에서 COPY FROM STDIN/를 사용할 수 없습니다 TO STDOUT. PHP의 PostgreSQL의 처리기 ( 되지 PDO)은 매우 기본적인 포함 pg_copy_from하고 pg_copy_to대용량 데이터 세트에 대한 효율적인하지 않을 수 PHP 배열로부터 / 복사 기능한다.
\copy작동합니다-경로는 클라이언트와 관련이 있으며 세미콜론이 필요하지 않습니다. 내 편집을 참조하십시오.
\copy하나의 라이너가 필요한 것 같습니다 . 따라서 원하는 방식으로 SQL 형식을 지정하고 복사 / 기능을 배치하는 것의 아름다움을 얻지 못합니다.
\copy 의 특수 메타 명령 입니다psql . pgAdmin과 같은 다른 클라이언트에서는 작동하지 않습니다. 이 작업을 수행하기 위해 그래픽 마법사와 같은 자체 도구가있을 수 있습니다.
몇 가지 해결책이 있습니다.
1 psql명령
psql -d dbname -t -A -F"," -c "select * from users" > output.csv
이것은 당신처럼, SSH를 통해 그것을 사용 할 수 있다는 큰 장점이있다 ssh postgres@host command취득 할 수 있도록을 -
2 postgres copy명령
COPY (SELECT * from users) To '/tmp/output.csv' With CSV;
3 psql 인터랙티브
>psql dbname
psql>\f ','
psql>\a
psql>\o '/tmp/output.csv'
psql>SELECT * from users;
psql>\q모두 스크립트에서 사용할 수 있지만 # 1을 선호합니다.
4 pgadmin이지만 스크립팅 할 수 없습니다.
터미널에서 (db에 연결된 동안) 출력을 cvs 파일로 설정하십시오.
1) 필드 구분 기호를 ','다음으로 설정하십시오 .
\f ','2) 출력 형식을 정렬되지 않은 상태로 설정하십시오.
\a3) 튜플 만 표시 :
\t4) 출력 설정 :
\o '/tmp/yourOutputFile.csv'5) 쿼리를 실행하십시오.
:select * from YOUR_TABLE6) 출력 :
\o그러면이 위치에서 csv 파일을 찾을 수 있습니다.
cd /tmpscp명령을 사용하여 복사 하거나 nano를 사용하여 편집하십시오.
nano /tmp/yourOutputFile.csvCOPY또는 \copy(표준 CSV 형식으로 변환)이 올바르게 핸들에 접근; 이거요?
CSV 수출 통일
이 정보는 실제로 잘 표현되지 않았습니다. 이것이 내가 이것을 이끌어 내야 할 두 번째이기 때문에, 나는 아무것도 없다면 나 자신을 상기시키기 위해 여기에 넣을 것입니다.
이 작업을 수행하는 가장 좋은 방법은 postgres에서 CSV를 가져 오는 것입니다 COPY ... TO STDOUT. 명령 을 사용하는 것 입니다. 여기 답변에 표시된 방식으로 수행하고 싶지는 않습니다. 명령을 사용하는 올바른 방법은 다음과 같습니다.
COPY (select id, name from groups) TO STDOUT WITH CSV HEADER하나의 명령 만 기억하십시오!
ssh보다 사용하기에 좋습니다.
$ ssh psqlserver.example.com 'psql -d mydb "COPY (select id, name from groups) TO STDOUT WITH CSV HEADER"' > groups.csvssh의 docker 내부에서 사용하기에 좋습니다.
$ ssh pgserver.example.com 'docker exec -tu postgres postgres psql -d mydb -c "COPY groups TO STDOUT WITH CSV HEADER"' > groups.csv로컬 컴퓨터에서도 훌륭합니다.
$ psql -d mydb -c 'COPY groups TO STDOUT WITH CSV HEADER' > groups.csv또는 로컬 컴퓨터의 도커 내부?
docker exec -tu postgres postgres psql -d mydb -c 'COPY groups TO STDOUT WITH CSV HEADER' > groups.csv또는 kubernetes 클러스터의 docker에서 HTTPS를 통해 ??? :
kubectl exec -t postgres-2592991581-ws2td 'psql -d mydb -c "COPY groups TO STDOUT WITH CSV HEADER"' > groups.csv다재다능하고 많은 쉼표!
당신 도요?
그렇습니다, 여기 내 메모가 있습니다 :
사본
를 사용 /copy하면 psql명령을 실행하는 사용자로서 명령이 실행중인 모든 시스템에서 파일 작업을 효과적으로 실행할 수 있습니다 1 . 원격 서버에 연결하면 실행중인 시스템의 데이터 파일을 원격 서버와 간단하게 복사 할 수 있습니다 psql.
COPY백엔드 프로세스 사용자 계정 (기본값 postgres), 파일 경로 및 권한이 확인되고 그에 따라 적용 되므로 서버에서 파일 작업을 실행합니다 . 사용하는 TO STDOUT경우 파일 권한 검사가 무시됩니다.
psql결과 CSV를 최종적으로 상주하려는 시스템에서 실행하지 않는 경우이 두 옵션 모두 후속 파일 이동이 필요 합니다. 내 경험에 따르면 대부분 원격 서버로 작업 할 때 가장 가능성이 높습니다.
간단한 CSV 출력을 위해 ssh를 통한 TCP / IP 터널과 같은 원격 시스템에 TCP / IP 터널과 같은 것을 구성하는 것이 더 복잡하지만, 다른 출력 형식 (2 진)의 경우 /copy로컬 연결을 실행하여 터널링 된 연결 보다 낫습니다 psql. 비슷한 맥락에서, 대량 수입의 경우 소스 파일을 서버로 옮기고 사용하는 COPY것이 아마도 가장 높은 성능 옵션 일 것입니다.
PSQL 파라미터
psql 매개 변수를 사용하면 CSV와 같은 출력 형식을 지정할 수 있지만 호출기를 비활성화하고 헤더를 가져 오지 않아야한다는 단점이 있습니다.
$ psql -P pager=off -d mydb -t -A -F',' -c 'select * from groups;'
2,Technician,Test 2,,,t,,0,,
3,Truck,1,2017-10-02,,t,,0,,
4,Truck,2,2017-10-02,,t,,0,,다른 도구들
아니요, 도구를 컴파일하거나 설치하지 않고 서버에서 CSV를 가져오고 싶습니다.
psql 당신을 위해 이것을 할 수 있습니다 :
edd@ron:~$ psql -d beancounter -t -A -F"," \
-c "select date, symbol, day_close " \
"from stockprices where symbol like 'I%' " \
"and date >= '2009-10-02'"
2009-10-02,IBM,119.02
2009-10-02,IEF,92.77
2009-10-02,IEV,37.05
2009-10-02,IJH,66.18
2009-10-02,IJR,50.33
2009-10-02,ILF,42.24
2009-10-02,INTC,18.97
2009-10-02,IP,21.39
edd@ron:~$man psql여기에 사용 된 옵션에 대한 도움말을 참조 하십시오.
새로운 버전-psql 12가 지원 --csv됩니다.
--csv
CSV (쉼표로 구분 된 값) 출력 모드로 전환합니다. 이것은 \ pset 형식 csv 와 같습니다 .
csv_fieldsep
CSV 출력 형식으로 사용할 필드 구분 기호를 지정합니다. 구분 기호 문자가 필드 값에 나타나면 해당 필드는 표준 CSV 규칙에 따라 큰 따옴표 안에 출력됩니다. 기본값은 쉼표입니다.
용법:
psql -c "SELECT * FROM pg_catalog.pg_tables" --csv postgres
psql -c "SELECT * FROM pg_catalog.pg_tables" --csv -P csv_fieldsep='^' postgres
psql -c "SELECT * FROM pg_catalog.pg_tables" --csv postgres > output.csv패턴 psql2csv을 캡슐화하여 COPY query TO STDOUT적절한 CSV를 생성 하는 작은 도구를 작성했습니다 . 인터페이스는와 비슷합니다 psql.
psql2csv [OPTIONS] < QUERY
psql2csv [OPTIONS] QUERY쿼리는 STDIN의 컨텐츠 (있는 경우) 또는 마지막 인수 인 것으로 가정합니다. 다음을 제외한 다른 모든 인수는 psql로 전달됩니다.
-h, --help show help, then exit
--encoding=ENCODING use a different encoding than UTF8 (Excel likes LATIN1)
--no-header do not output a headerJetBrains의 데이터베이스 IDE 인 DataGrip을 적극 권장 합니다. SQL 쿼리를 CSV 파일로 내보낼 수 있습니다 하고 쉽게 SSH 터널링을 설정할 수 있습니다. 설명서에서 "결과 세트"를 언급 할 경우 콘솔의 SQL 쿼리에서 반환 된 결과를 의미합니다.
나는 DataGrip과 관련이 없으며 단지 제품을 좋아합니다!
웹 브라우저의 데이터베이스 클라이언트 인 JackDB 는 이것을 매우 쉽게 만듭니다. 특히 Heroku를 사용하는 경우.
원격 데이터베이스에 연결하여 SQL 쿼리를 실행할 수 있습니다.
소스
(source : jackdb.com )
DB가 연결되면 쿼리를 실행하고 CSV 또는 TXT로 내보낼 수 있습니다 (오른쪽 아래 참조).
참고 : 나는 결코 JackDB와 제휴하지 않습니다. 저는 현재 무료 서비스를 사용하고 있으며 훌륭한 제품이라고 생각합니다.
@ skeller88의 요청에 따라 모든 답변을 읽지 않는 사람들이 내 의견을 잃지 않도록 답변으로 내 의견을 다시 게시하고 있습니다 ...
DataGrip의 문제점은 지갑을 손에 넣는다는 것입니다. 무료가 아닙니다. dbeaver.io에서 DBeaver 커뮤니티 에디션을 사용해보십시오. MySQL, PostgreSQL, SQLite, Oracle, DB2, SQL Server, Sybase, MS Access, Teradata, Firebird, Hive, Presto 등 모든 인기있는 데이터베이스를 지원하는 SQL 프로그래머, DBA 및 분석가를위한 FOSS 다중 플랫폼 데이터베이스 도구입니다.
DBeaver Community Edition은 데이터베이스에 연결하고 쿼리를 발행하여 데이터를 검색 한 다음 결과 세트를 다운로드하여 CSV, JSON, SQL 또는 기타 공통 데이터 형식으로 저장하도록합니다. Postgres 용 TOAD, SQL Server 용 TOAD 또는 Toad for Oracle의 실행 가능한 FOSS 경쟁 업체입니다.
DBeaver와 제휴 관계가 없습니다. 가격과 기능을 좋아하지만 DBeaver / Eclipse 애플리케이션을 더 많이 열고 사용자가 연간 구독료를 지불하여 그래프 및 차트를 직접 작성하지 않고 DBeaver / Eclipse에 분석 위젯을 쉽게 추가 할 수 있기를 바랍니다. 응용 프로그램. 내 Java 코딩 기술은 녹슬고 DBeaver가 타사 위젯을 DBeaver Community Edition에 추가하는 기능을 사용하지 못하도록 Eclipse 위젯 빌드 방법을 다시 배우는 데 몇 주가 걸리지 않습니다.
DBeaver 사용자는 Community Edition of DBeaver에 추가 할 분석 위젯을 작성하는 단계에 대한 통찰력이 있습니까?
import json
cursor = conn.cursor()
qry = """ SELECT details FROM test_csvfile """
cursor.execute(qry)
rows = cursor.fetchall()
value = json.dumps(rows)
with open("/home/asha/Desktop/Income_output.json","w+") as f:
f.write(value)
print 'Saved to File Successfully'