명령의 (거대한) 출력을 원격 시스템으로 직접 scp하는 방법은 무엇입니까?

먼저 파일을 로컬에 저장할 수 없습니다. 파일이 너무 큽니다.

이 (불명확 한) 페이지 (맨 아래로 스크롤)가 대답하는 것처럼 보이지만 테이프 드라이브와 관련된 부분을 분리하는 데 문제가 있습니다.

http://webcache.googleusercontent.com/search?q=cache:lhmh960w2KQJ:www.experts-exchange.com/OS/Unix/SCO_Unix/Q_24249634.html+scp+redirect&cd=3&hl=ko&ct=clnk&gl=us

좀 더 구체적으로 만들기 위해 다음과 같이 생각할 수 있습니다 .

로컬 머신에서 :

% echo "pretend this string is a huge amt of data" | scp - remote.com:big.txt

(이것은 실제로 scp가 지원하지 않는 규칙을 사용하여 대신 stdin에서 가져 오기 위해 소스 파일에 대시를 대체하는 규칙을 사용합니다.)

ssh로 파이프하고 원격 명령을 실행할 수 있습니다. 이 경우, 원격 명령은 cat > big.txtstdin을 big.txt파일 로 복사 합니다.

echo "Lots of data" | ssh user@example.com 'cat > big.txt'

ssh를 사용하여 원격 끝에 연결할 수있는 한 쉽고 간단합니다.

nc(NetCat)을 사용 하여 데이터를 전송할 수도 있습니다 . 수신 컴퓨터 (예 : host.example.com)에서 :

nc -l 1234 > big.txt

이 설정합니다 nc1234 포트와 해당 포트로 전송 복사 아무것도 듣고 big.txt파일. 그런 다음 보내는 기계에서 :

echo "Lots of data" | nc host.example.com 1234

이 명령은 nc송신 측에서 수신자의 포트 1234에 연결하고 stdin의 데이터를 네트워크를 통해 복사하도록 지시합니다.

그러나이 nc솔루션에는 몇 가지 단점이 있습니다.

• 인증이 없습니다. 누구나 포트 1234에 연결하여 파일로 데이터를 보낼 수 있습니다.
• 데이터는에서와 같이 암호화되지 않습니다 ssh.
• 두 시스템 중 하나가 방화벽 뒤에있는 경우, 특히 수신 측에서 연결을 통해 올바르게 라우팅하고 라우팅 할 수 있도록 선택한 포트가 열려 있어야합니다.
• 양쪽 끝을 독립적으로 동시에 설정해야합니다. 으로 ssh솔루션, 당신은 엔드 포인트의 하나의 전송을 시작할 수 있습니다.

ssh 사용 :

echo "pretend this is a huge amt of data" | ssh user@remote.com 'cat > big.txt'

파일을 로컬에 저장할 필요가없는 nc (Net Cat)를 사용하십시오 .

FIFO 파이프를 사용하십시오.

mknod mypipe p
scp mypipe destination &
ls > mypipe

감사합니다 Denis Scherbakov!

Hetzner 클라우드에서 스크립트를 시도했을 때

debug1: Sending command: scp -v -t backup-20180420120524.tar.xz.enc
debug1: client_input_channel_req: channel 0 rtype exit-status reply 0
debug1: channel 0: free: client-session, nchannels 1
debug1: fd 0 clearing O_NONBLOCK
Transferred: sent 4168, received 2968 bytes, in 0.0 seconds
Bytes per second: sent 346786.6, received 246944.0

그러나 내용이없는 파일 만 작성되었습니다. 실제 컨텐츠는 이미 openssl로 암호화되어 있으므로 실제로는 scp가 필요하지 않습니다. 리눅스 내장 ftp에는 훌륭한 파이핑 기능도 있습니다. 여기 내 (여전히 수동적 인) 해결책이 있습니다.

#!/bin/bash

function join_e
{
  for word in $*; do
    echo -n "--exclude=$word "
  done
}


# Directory and file inclusion list
ILIST=(
  /home
)

# Directory and file exclusion list
ELIST=(
  var/lib/postgresql
)



export OPASS=fileencryptionpassword

nice -n 19 bash -c \
   "\
   tar $(join_e ${ELIST[@]}) -cpvf - -C / ${ILIST[*]} \
   | xz -c9e -T8 \
   | openssl enc -aes-256-cbc -pass env:OPASS \
   "

# decrypt with:
# cat backup.tar.xz.enc | openssl  aes-256-cbc -d  -pass env:OPASS | xz -dc | tar xv

# invocation procedure for ftp:
# $ ftp -np
# ftp> open storage.com
# ftp> user  storageuser storagepass
# ftp> put "| bash ~/backup.sh" backup.tar.xz.enc

대체 솔루션은 다음과 같습니다.

ssh + cat를 제안하는 위의 모든 예는 대상 시스템에서 "cat"을 사용할 수 있다고 가정합니다.

필자의 경우 시스템 (Hetzner 백업)에는 sftp를 제공하는 매우 제한적인 도구 세트가 있었지만 완전한 쉘은 아닙니다. 따라서 ssh + cat을 사용할 수 없었습니다. 문서화되지 않은 "scp -t"플래그를 사용하는 솔루션을 생각해 냈습니다. 완전한 스크립트는 아래에서 찾을 수 있습니다.

#!/bin/bash

function join_e
{
  for word in $*; do
    echo -n "--exclude=$word "
  done
}

CDATE=`date +%Y%m%d%H%M%S`

# Make password available to all programs that are started by this shell.
export OPASS=YourSecretPasswrodForOpenSslEncryption

#-----------------------------------------------

# Directory and file inclusion list
ILIST=(
  var/lib
)

# Directory and file exclusion list
ELIST=(
  var/lib/postgresql
)

# 1. tar: combine all files into a single tar archive
#      a. Store files and directories in ILIST only.
#      b. Exclude files and directories from ELIST.
# 2. xz: compress as much as you can utilizing 8 threads (-T8)
# 3. openssl: encrypt contents using a password stored in OPASS local environment variable
# 4. cat: concatenate stream with SCP control message, which has to be sent before data
#      a. C0600 - create a file with 600 permissions
#      b. 107374182400 - maximum file size
#         Must be higher or equal to the actual file size.
#         Since we are dealing with STDIN, we have to make an educated guess.
#         I've set this value to 100x times my backups are.
#      c. stdin - dummy filename (unused)
# 5. ssh: connect to the server
#      a. call SCP in stdin (-t) mode.
#      b. specify destination filename

nice -n 19 bash -c \
   "\
   tar $(join_e ${ELIST[@]}) -cpf - -C / ${ILIST[*]} \
   | xz -c9e -T8 \
   | openssl enc -aes-256-cbc -pass env:OPASS \
   | cat <(echo 'C0600 107374182400 stdin') - \
   | ssh username@server.your-backup.de "\'"scp -t backup-${CDATE}.tar.xz.enc"\'"\
   "

2019.05.08 업데이트 :

요청에 따라 아래는 훨씬 간단하고 짧은 버전입니다.

#!/bin/sh

# WORKS ON LARGE FILES ONLY

cat filename.ext \
| cat <(echo 'C0600 107374182400 stdin') - \
| ssh user@host.dom 'scp -t filename.ext'