Go를 사용하여 대용량 파일을 효율적으로 다운로드하려면 어떻게해야합니까?

Go를 사용하여 대용량 파일을 다운로드하여 파일에 쓰기 전에 콘텐츠를 모두 메모리에 저장하는 대신 파일에 직접 저장하는 방법이 있습니까? 파일이 너무 크기 때문에 파일에 쓰기 전에 메모리에 모두 저장하면 모든 메모리가 소모됩니다.

http를 통한 다운로드를 의미한다고 가정합니다 (간결성을 위해 오류 검사 생략).

import ("net/http"; "io"; "os")
...
out, err := os.Create("output.txt")
defer out.Close()
...
resp, err := http.Get("http://example.com/")
defer resp.Body.Close()
...
n, err := io.Copy(out, resp.Body)

http.Response의 본문은 독자이므로 독자를 사용하는 모든 기능을 사용할 수 있습니다 (예 : 한 번에 모두 읽기보다는 한 번에 청크 읽기). 이 특정한 경우에, io.Copy()당신을 위해 gruntwork합니다.

Steve M의 답변에 대한보다 설명적인 버전입니다.

import (
    "os"
    "net/http"
    "io"
)

func downloadFile(filepath string, url string) (err error) {

  // Create the file
  out, err := os.Create(filepath)
  if err != nil  {
    return err
  }
  defer out.Close()

  // Get the data
  resp, err := http.Get(url)
  if err != nil {
    return err
  }
  defer resp.Body.Close()

  // Check server response
  if resp.StatusCode != http.StatusOK {
    return fmt.Errorf("bad status: %s", resp.Status)
  }

  // Writer the body to file
  _, err = io.Copy(out, resp.Body)
  if err != nil  {
    return err
  }

  return nil
}

위에서 선택한 대답 io.Copy은 정확히 필요한 것입니다. 그러나 손상된 다운로드 재개, 파일 자동 이름 지정, 체크섬 유효성 검사 또는 여러 다운로드의 진행 상황 모니터링과 같은 추가 기능에 관심이있는 경우 grab 패키지를 확인하십시오 .

1. 다음은 샘플입니다. https://github.com/thbar/golang-playground/blob/master/download-files.go

2. 또한 몇 가지 코드가 도움이 될 수 있습니다.

암호:

func HTTPDownload(uri string) ([]byte, error) {
    fmt.Printf("HTTPDownload From: %s.\n", uri)
    res, err := http.Get(uri)
    if err != nil {
        log.Fatal(err)
    }
    defer res.Body.Close()
    d, err := ioutil.ReadAll(res.Body)
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("ReadFile: Size of download: %d\n", len(d))
    return d, err
}

func WriteFile(dst string, d []byte) error {
    fmt.Printf("WriteFile: Size of download: %d\n", len(d))
    err := ioutil.WriteFile(dst, d, 0444)
    if err != nil {
        log.Fatal(err)
    }
    return err
}

func DownloadToFile(uri string, dst string) {
    fmt.Printf("DownloadToFile From: %s.\n", uri)
    if d, err := HTTPDownload(uri); err == nil {
        fmt.Printf("downloaded %s.\n", uri)
        if WriteFile(dst, d) == nil {
            fmt.Printf("saved %s as %s\n", uri, dst)
        }
    }
}