대용량 데이터 파일을 한 줄씩 복사하는 방법?

35GB CSV파일이 있습니다. 각 줄을 읽고 조건과 일치하면 줄을 새 CSV에 씁니다.

try (BufferedWriter writer = Files.newBufferedWriter(Paths.get("source.csv"))) {
    try (BufferedReader br = Files.newBufferedReader(Paths.get("target.csv"))) {
        br.lines().parallel()
            .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
            .forEach(line -> {
                writer.write(line + "\n");
        });
    }
}

이것은 대략 소요됩니다. 7 분 그 과정을 훨씬 더 빠르게 할 수 있습니까?

옵션 인 경우 GZipInputStream / GZipOutputStream을 사용하여 디스크 I / O를 최소화 할 수 있습니다.

Files.newBufferedReader / Writer는 8KB의 기본 버퍼 크기를 사용합니다. 더 큰 버퍼를 시도 할 수 있습니다.

문자열, 유니 코드로 변환하면 속도가 느려지고 메모리가 두 배로 사용됩니다. 사용되는 UTF-8은 StandardCharsets.ISO_8859_1만큼 간단하지 않습니다.

대부분 바이트 로 작업 할 수 있고 특정 CSV 필드에서만 문자열로 변환하는 것이 가장 좋습니다.

메모리 매핑 파일이 가장 적합 할 수 있습니다. 파일 범위에서 병렬 처리를 사용하여 파일을 분리 할 수 ​​있습니다.

try (FileChannel sourceChannel = new RandomAccessFile("source.csv","r").getChannel(); ...
MappedByteBuffer buf = sourceChannel.map(...);

이것은 약간의 코드가되어 줄을 올바르게 가져 (byte)'\n'오지만 지나치게 복잡하지는 않습니다.

당신은 이것을 시도 할 수 있습니다 :

try (BufferedWriter writer = new BufferedWriter(new FileWriter(targetFile), 1024 * 1024 * 64)) {
  try (BufferedReader br = new BufferedReader(new FileReader(sourceFile), 1024 * 1024 * 64)) {

나는 그것이 당신을 1-2 분 절약 할 것이라고 생각합니다. 버퍼 크기를 지정하여 약 4 분 안에 내 컴퓨터에서 테스트를 수행 할 수 있습니다.

더 빠를 수 있습니까? 이 시도:

final char[] cbuf = new char[1024 * 1024 * 128];

try (Writer writer = new FileWriter(targetFile)) {
  try (Reader br = new FileReader(sourceFile)) {
    int cnt = 0;
    while ((cnt = br.read(cbuf)) > 0) {
      // add your code to process/split the buffer into lines.
      writer.write(cbuf, 0, cnt);
    }
  }
}

이렇게하면 3-4 분이 절약됩니다.

그래도 충분하지 않다면. (당신이 질문을하는 이유는 아마도 작업을 반복적으로 실행해야하기 때문입니다). 1 분 또는 몇 초 안에 완료하려면 그런 다음 데이터를 처리하고 db에 저장 한 다음 여러 서버로 작업을 처리해야합니다.

귀하의 모든 제안 덕분에, 내가 생각해 낸 가장 빠른 속도로 작가를 교환하는 것이 BufferedOutputStream약 25 % 개선되었습니다.

   try (BufferedReader reader = Files.newBufferedReader(Paths.get("sample.csv"))) {
        try (BufferedOutputStream writer = new BufferedOutputStream(Files.newOutputStream(Paths.get("target.csv")), 1024 * 16)) {
            reader.lines().parallel()
                    .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
                    .forEach(line -> {
                        writer.write((line + "\n").getBytes());
                    });
        }
    }

여전히 내 경우 BufferedReader보다 성능이 우수합니다 BufferedInputStream.