HTTP를 통해 바이너리 파일을 다운로드하려면 어떻게합니까?

Ruby를 사용하여 HTTP를 통해 바이너리 파일을 다운로드하고 저장하려면 어떻게합니까?

URL은 http://somedomain.net/flv/sample/sample.flv입니다.

저는 Windows 플랫폼을 사용하고 있으며 외부 프로그램을 실행하지 않는 것을 선호합니다.

가장 간단한 방법은 플랫폼 별 솔루션입니다.

 #!/usr/bin/env ruby
`wget http://somedomain.net/flv/sample/sample.flv`

아마 당신은 찾고 있습니다 :

require 'net/http'
# Must be somedomain.net instead of somedomain.net/, otherwise, it will throw exception.
Net::HTTP.start("somedomain.net") do |http|
    resp = http.get("/flv/sample/sample.flv")
    open("sample.flv", "wb") do |file|
        file.write(resp.body)
    end
end
puts "Done."

편집 : 변경되었습니다. 감사합니다.

편집 2 : 다운로드하는 동안 파일의 일부를 저장하는 솔루션 :

# instead of http.get
f = open('sample.flv')
begin
    http.request_get('/sample.flv') do |resp|
        resp.read_body do |segment|
            f.write(segment)
        end
    end
ensure
    f.close()
end

나는 이것이 오래된 질문이라는 것을 알고 있지만 Google에서 나를 던졌고 더 간단한 대답을 찾았습니다.

에서 Railscasts # 179 , 라이언 베이츠는 루비 표준 클래스를 사용 OpenURI 많은 같은 질문을 받았다 무엇 할 :

( 경고 : 테스트되지 않은 코드입니다. 변경 / 조정해야 할 수도 있습니다.)

require 'open-uri'

File.open("/my/local/path/sample.flv", "wb") do |saved_file|
  # the following "open" is provided by open-uri
  open("http://somedomain.net/flv/sample/sample.flv", "rb") do |read_file|
    saved_file.write(read_file.read)
  end
end

다음은 파일을 사용하는 Ruby http open(name, *rest, &block)입니다.

require "open-uri"
require "fileutils"

def download(url, path)
  case io = open(url)
  when StringIO then File.open(path, 'w') { |f| f.write(io) }
  when Tempfile then io.close; FileUtils.mv(io.path, path)
  end
end

여기서 가장 큰 장점은 간결하고 간단 open합니다. 많은 양의 리프팅이 있기 때문 입니다. 그리고 메모리에서 전체 응답을 읽지 않습니다.

이 open방법은> 1kb 이상의 응답을 a로 스트리밍합니다 Tempfile. 이 지식을 활용하여이 린 다운로드 파일 방법을 구현할 수 있습니다. 여기 에서 OpenURI::Buffer구현을 참조 하십시오.

사용자가 제공 한 입력에주의하십시오! 사용자 입력에서 오는 open(name, *rest, &block)경우 안전하지 않습니다 name!

Ruby의 net / http 문서 에있는 예제 3은 HTTP를 통해 문서를 다운로드하고 파일을 메모리에로드하는 대신 파일을 출력하는 방법을 보여줍니다 (예 : Dejw의 답변에 표시된대로 파일에 2 진 쓰기로 대체).

더 복잡한 사례는 동일한 문서에서 더 아래에 표시됩니다.

하나의 라이너 인 open-uri를 사용할 수 있습니다

require 'open-uri'
content = open('http://example.com').read

또는 net / http를 사용하여

require 'net/http'
File.write("file_name", Net::HTTP.get(URI.parse("http://url.com")))

Dejw의 답변을 확장 (edit2) :

File.open(filename,'w'){ |f|
  uri = URI.parse(url)
  Net::HTTP.start(uri.host,uri.port){ |http| 
    http.request_get(uri.path){ |res| 
      res.read_body{ |seg|
        f << seg
#hack -- adjust to suit:
        sleep 0.005 
      }
    }
  }
}

어디에 filename그리고 url문자열입니다.

이 sleep명령은 네트워크가 제한 요인 일 때 CPU 사용량을 크게 줄일 수있는 해킹입니다 . Net :: HTTP는 버퍼 (v1.9.2의 16kB)가 가득 찰 때까지 기다리지 않으므로 CPU는 자체적으로 작은 덩어리를 움직입니다. 잠을 자면 버퍼가 쓰기 사이를 채울 수 있으며 CPU 사용량은 응용 프로그램의 4-5 배 차이 인 컬 솔루션과 비슷합니다. 더 강력한 솔루션은 진행률을 검사 f.pos하고 버퍼 크기의 95 %를 목표로 시간 초과를 조정할 수 있습니다 . 실제로 예제에서 0.005 숫자를 얻었습니다.

죄송하지만 Ruby가 버퍼가 가득 찰 때까지 기다리는 더 우아한 방법을 모르겠습니다.

편집하다:

이것은 버퍼를 용량 이하로 유지하기 위해 자동으로 조정되는 버전입니다. 우아하지 않은 솔루션이지만 컬링을 부르는 것처럼 빠르며 CPU 시간을 적게 사용하는 것 같습니다.

세 단계로 작동합니다. 의도적으로 긴 수면 시간을 갖는 짧은 학습 기간은 전체 버퍼의 크기를 설정합니다. 드롭 기간은 언더필 버퍼를 찾을 때까지 더 큰 계수를 곱하여 각 반복마다 슬립 시간을 빠르게 줄입니다. 그런 다음 정상 기간 동안 더 작은 계수만큼 위아래로 조정됩니다.

내 루비는 조금 녹슬 었으므로 개선 될 수 있다고 확신합니다. 우선, 오류 처리가 없습니다. 또한 다운로드 자체와는 별도로 객체로 분리되어 autosleep.sleep(f.pos)루프를 호출 할 수 있습니까? 더 좋은 점은 Net :: HTTP가 전체 버퍼를 기다리도록 변경하여

def http_to_file(filename,url,opt={})
  opt = {
    :init_pause => 0.1,    #start by waiting this long each time
                           # it's deliberately long so we can see 
                           # what a full buffer looks like
    :learn_period => 0.3,  #keep the initial pause for at least this many seconds
    :drop => 1.5,          #fast reducing factor to find roughly optimized pause time
    :adjust => 1.05        #during the normal period, adjust up or down by this factor
  }.merge(opt)
  pause = opt[:init_pause]
  learn = 1 + (opt[:learn_period]/pause).to_i
  drop_period = true
  delta = 0
  max_delta = 0
  last_pos = 0
  File.open(filename,'w'){ |f|
    uri = URI.parse(url)
    Net::HTTP.start(uri.host,uri.port){ |http|
      http.request_get(uri.path){ |res|
        res.read_body{ |seg|
          f << seg
          delta = f.pos - last_pos
          last_pos += delta
          if delta > max_delta then max_delta = delta end
          if learn <= 0 then
            learn -= 1
          elsif delta == max_delta then
            if drop_period then
              pause /= opt[:drop_factor]
            else
              pause /= opt[:adjust]
            end
          elsif delta < max_delta then
            drop_period = false
            pause *= opt[:adjust]
          end
          sleep(pause)
        }
      }
    }
  }
end

보다 더 많은 API 친화적 라이브러리가 있습니다 Net::HTTP예를 들어, httparty는 :

require "httparty"
File.open("/tmp/my_file.flv", "wb") do |f| 
  f.write HTTParty.get("http://somedomain.net/flv/sample/sample.flv").parsed_response
end

파일에 German Umlauts (ä, ö, ü)가 포함 된 경우 문제가있었습니다. 다음을 사용하여 문제를 해결할 수 있습니다.

ec = Encoding::Converter.new('iso-8859-1', 'utf-8')
...
f << ec.convert(seg)
...

임시 파일을 다운로드하는 방법을 찾고 있다면 물건을 삭제 하고이 보석을 사용해보십시오 https://github.com/equivalent/pull_tempfile

require 'pull_tempfile'

PullTempfile.transaction(url: 'https://mycompany.org/stupid-csv-report.csv', original_filename: 'dont-care.csv') do |tmp_file|
  CSV.foreach(tmp_file.path) do |row|
    # ....
  end
end