드라이브를 복제하라는 명령이 최적입니까?


16

하드 드라이브 복제 준비를 위해 30 분 동안 책을 읽었습니다. Windows 파티션을 포함하여 여러 파티션이 있습니다. 백업용으로 매우 큰 외장 하드 드라이브를 구입하려고합니다. 이 복제본을 사용하여 문제가 발생하는 경우 전체 드라이브를 복원 할 수 있기를 원합니다 (OS 재 셔플 링을하려고합니다). 아무것도 설치하지 않아도되는 저수준 도구를 좋아하기 때문에 dd를 사용 하여이 작업을 수행하는 방법을 배우고 싶습니다.

우분투 포럼 (라이브 CD를 사용하여 루트 셸에서 입력)에서 다음 유용한 코드를 찾았습니다 .

dd if=/dev/hda of=/dev/hdb & pid=$!
while kill -USR1 $pid; do sleep 1; done

(입력 및 출력 위치를 편집해야한다는 것을 알고 있습니다.) 그러나 두 가지 질문이 있습니다. 첫 번째는 매우 noobie입니다.이 명령은 두 줄로 나뉩니다. 느낌표 다음에 Enter 키를 누르면 프로세스가 시작됩니까?

둘째, 다른 사이트에서는 블록 크기를 입력하는 것이 좋습니다. 이처럼 :

# dd if=/dev/hda conv=sync,noerror bs=64K of=/mnt/sda1/hda.img

나는 블록 크기에 대해 아무것도 모른다. 64K가 맞습니까? 내 블록 크기가 sudo fdisk -ul의 출력에서 ​​512 바이트 인 것처럼 보입니다.

Disk /dev/sda: 750.2 GB, 750156374016 bytes
255 heads, 63 sectors/track, 91201 cylinders, total 1465149168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0xc3ffc3ff

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *          63   143364059    71681998+   7  HPFS/NTFS/exFAT
Partition 1 does not start on physical sector boundary.
/dev/sda2       976867328  1465147391   244140032    7  HPFS/NTFS/exFAT
/dev/sda3       143364094   976867327   416751617    5  Extended
Partition 3 does not start on physical sector boundary.
/dev/sda5       143364096   162895871     9765888   82  Linux swap / Solaris
/dev/sda6       162897920   205864959    21483520   83  Linux
/dev/sda7       205867008   976867327   385500160   83  Linux

Partition table entries are not in disk order

Disk /dev/mapper/cryptswap1: 10.0 GB, 10000269312 bytes
255 heads, 63 sectors/track, 1215 cylinders, total 19531776 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x433bb3a7

Disk /dev/mapper/cryptswap1 doesn't contain a valid partition table

감사합니다.


간단한 시도 했습니까 dd if=/dev/hda of=hdb? 다음은 160GB 런타임을 포함한 일부 세부 정보를 보여주는 답변입니다. askubuntu.com/questions/435694/…
SDsolar

Ubuntu의 최신 버전은 coreutils v.8.24 이상을 사용하는데 여기에dd 언급 된대로 진행 스위치 가 포함되어 있습니다.
Geek

답변:


22

진행

나열한 명령

dd if=/dev/hda of=/dev/hdb & pid=$!
while kill -USR1 $pid; do sleep 1; done

dd정기적으로 진행 상황을 파악할 수있는 멋진 2 개의 라이너 입니다. 나는 매우 비슷한 것을 사용합니다. 좋아 보인다 아마 여기 에서 찾았 습니까?

와 Blocksizes dd정렬 및 성능 :

작업이 수행되는 블록 크기를 추가 할 수 있습니다. 기본 블록 장치의 블록 크기는 작업을 동일하게 수행하는 것이 중요하지 않지만 성능상의 이유로 요구 사항에 맞는 것을 선택해야 할 수 있습니다.

우선 , 정렬이 있습니다. 블록 장치가 512KiB (플래시 드라이브처럼)로 작동 dd하는 bs=512경우 장치 관점에서 각 블록에 대해 1024 개의 쓰기 (!)가 발생하기 때문에 (바이트)로 실행 하는 것은 매우 불행합니다 . 실제로 쓰기가 버퍼링되어 한 번에 수행되기 때문에 이것이 나쁘지는 않지만 동기화 중에는 여전히 쓰기 양을 많이 증폭시킬 수 있습니다 .

그런 다음 대량의 작은 작업을 처리 할 때 일반 CPU 사용 오버 헤드를 고려하십시오. 대량의 데이터를 복사 할 때 한 번에 메가 바이트를 사용하는 것이 더 효율적입니다.

가장 좋은 방법은 RAID 스트라이프 크기, LVM 범위 크기 등을 포함하여 대부분의 설정의 멋진 배수이기 때문에 1MB로 시작하는 것입니다. SSD가 장착 된 랩톱에서는 블록 크기로 10MB를 사용하는 경우 약간의 개선이있는 경향이 있습니다. 내 실제 하드 드라이브에서 더 이상 볼 수 없습니다.

마지막 블록

드라이브 / 볼륨 크기가 블록 크기의 배수가 아닌 것에 대해 걱정하지 마십시오. 마지막 블록 dd은 마지막 데이터 비트와 일치하도록 복사됩니다. 출력을 보면 마지막 블록의 크기가 다른지 확인할 수 있습니다.

18335302+0 records out

+0가 정확히 일치되었음을 의미하는 +1것이 아니라는 것을 의미합니다. 별거 아냐

또한보십시오


1
와우, 정답입니다. 시간을 내 주셔서 감사합니다. 원본 질문에 대한 링크를 사용하여 원래 질문을 업데이트합니다. 그런 다음 1MB를 사용합니다. 내 명령은 다음과 같습니다. 맞습니까? # dd if=/dev/hda conv=sync,noerror bs=1MB of=/mnt/sda1/hda.img & pid=$! while kill -USR1 $pid; do sleep 1; done
키트 존슨

2
@oldmankit 저는 10의 거듭 제곱이 bs=1M아니라 2 bs=1MB의 거듭 제곱으로 할 것입니다. 그러나 가장 좋은 것을 볼 수 있다면 시스템에서 몇 가지 벤치 마크를 실행하십시오.
gertvdijk

4
coreutils> = 8.24 (Ubuntu Xenial 16.04 이상에서 기본값)가 릴리스 된 이후 여기 에서 언급 한 것처럼 kill -USR1 $pid이제 더 이상 status=progress스위치 를 추가하여 진행 보고서를 볼 필요가 없습니다.
Geek

10

다른 사람들이 말했듯이, 보편적으로 정확한 블록 크기는 없습니다. 하나의 상황에 최적 인 것이거나 하나의 하드웨어가 다른 상황에있어 매우 비효율적 일 수 있습니다. 또한 디스크의 상태에 따라 "최적의"크기와 다른 블록 크기를 사용하는 것이 좋습니다.

최신 하드웨어에서 매우 신뢰할 수있는 한 가지 방법은 기본 블록 크기 인 512 바이트가보다 최적의 대안보다 거의 10 배 느리다는 것입니다. 의심 스러울 때 64K가 현대적인 기본 설정이라는 것을 알았습니다. 64K는 일반적으로 최적의 블록 크기는 아니지만 내 경험에 따르면 기본값보다 훨씬 효율적인 경향이 있습니다. 64K는 또한 믿을만한 성능을 자랑합니다. 2002 년경 Eug-Lug 메일 링리스트 에서 64K의 블록 크기를 권장하는 메시지를 찾을 수 있습니다 .

최적의 출력 블록 크기를 결정하기 위해 기본 512 바이트에서 최대 64M까지 다양한 블록 크기 범위에서 dd로 128M 테스트 파일 작성을 테스트하는 다음 스크립트를 작성했습니다. 이 스크립트는 내부적으로 dd를 사용하므로주의해서 사용하십시오.

dd_obs_test.sh:

#!/bin/bash

# Since we're dealing with dd, abort if any errors occur
set -e

TEST_FILE=${1:-dd_obs_testfile}
TEST_FILE_EXISTS=0
if [ -e "$TEST_FILE" ]; then TEST_FILE_EXISTS=1; fi
TEST_FILE_SIZE=134217728

if [ $EUID -ne 0 ]; then
  echo "NOTE: Kernel cache will not be cleared between tests without sudo. This will likely cause inaccurate results." 1>&2
fi

# Header
PRINTF_FORMAT="%8s : %s\n"
printf "$PRINTF_FORMAT" 'block size' 'transfer rate'

# Block sizes of 512b 1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 4M 8M 16M 32M 64M
for BLOCK_SIZE in 512 1024 2048 4096 8192 16384 32768 65536 131072 262144 524288 1048576 2097152 4194304 8388608 16777216 33554432 67108864
do
  # Calculate number of segments required to copy
  COUNT=$(($TEST_FILE_SIZE / $BLOCK_SIZE))

  if [ $COUNT -le 0 ]; then
    echo "Block size of $BLOCK_SIZE estimated to require $COUNT blocks, aborting further tests."
    break
  fi

  # Clear kernel cache to ensure more accurate test
  [ $EUID -eq 0 ] && [ -e /proc/sys/vm/drop_caches ] && echo 3 > /proc/sys/vm/drop_caches

  # Create a test file with the specified block size
  DD_RESULT=$(dd if=/dev/zero of=$TEST_FILE bs=$BLOCK_SIZE count=$COUNT conv=fsync 2>&1 1>/dev/null)

  # Extract the transfer rate from dd's STDERR output
  TRANSFER_RATE=$(echo $DD_RESULT | \grep --only-matching -E '[0-9.]+ ([MGk]?B|bytes)/s(ec)?')

  # Clean up the test file if we created one
  if [ $TEST_FILE_EXISTS -ne 0 ]; then rm $TEST_FILE; fi

  # Output the result
  printf "$PRINTF_FORMAT" "$BLOCK_SIZE" "$TRANSFER_RATE"
done

GitHub에서보기

이 스크립트는 데비안 (우분투) 시스템과 OSX Yosemite에서만 테스트되었으므로 다른 Unix 버전에서 작업하려면 약간의 조정이 필요할 것입니다.

기본적으로 명령은 dd_obs_testfile현재 디렉토리에 이름이 지정된 테스트 파일을 작성합니다 . 또는 스크립트 이름 뒤에 경로를 제공하여 사용자 정의 테스트 파일의 경로를 제공 할 수 있습니다.

$ ./dd_obs_test.sh /path/to/disk/test_file

스크립트의 출력은 다음과 같이 테스트 된 블록 크기와 해당 전송 속도의 목록입니다.

$ ./dd_obs_test.sh
block size : transfer rate
       512 : 11.3 MB/s
      1024 : 22.1 MB/s
      2048 : 42.3 MB/s
      4096 : 75.2 MB/s
      8192 : 90.7 MB/s
     16384 : 101 MB/s
     32768 : 104 MB/s
     65536 : 108 MB/s
    131072 : 113 MB/s
    262144 : 112 MB/s
    524288 : 133 MB/s
   1048576 : 125 MB/s
   2097152 : 113 MB/s
   4194304 : 106 MB/s
   8388608 : 107 MB/s
  16777216 : 110 MB/s
  33554432 : 119 MB/s
  67108864 : 134 MB/s

(참고 : 전송 속도 단위는 OS에 따라 다릅니다)

최적의 읽기 블록 크기를 테스트하기 위해 거의 동일한 프로세스를 사용할 수 있지만 /dev/zero디스크를 읽고 쓰는 대신 디스크에서 읽고 쓸 수 /dev/null있습니다. 이를 수행하는 스크립트는 다음과 같습니다.

dd_ibs_test.sh:

#!/bin/bash

# Since we're dealing with dd, abort if any errors occur
set -e

TEST_FILE=${1:-dd_ibs_testfile}
if [ -e "$TEST_FILE" ]; then TEST_FILE_EXISTS=$?; fi
TEST_FILE_SIZE=134217728

# Exit if file exists
if [ -e $TEST_FILE ]; then
  echo "Test file $TEST_FILE exists, aborting."
  exit 1
fi
TEST_FILE_EXISTS=1

if [ $EUID -ne 0 ]; then
  echo "NOTE: Kernel cache will not be cleared between tests without sudo. This will likely cause inaccurate results." 1>&2
fi

# Create test file
echo 'Generating test file...'
BLOCK_SIZE=65536
COUNT=$(($TEST_FILE_SIZE / $BLOCK_SIZE))
dd if=/dev/urandom of=$TEST_FILE bs=$BLOCK_SIZE count=$COUNT conv=fsync > /dev/null 2>&1

# Header
PRINTF_FORMAT="%8s : %s\n"
printf "$PRINTF_FORMAT" 'block size' 'transfer rate'

# Block sizes of 512b 1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 4M 8M 16M 32M 64M
for BLOCK_SIZE in 512 1024 2048 4096 8192 16384 32768 65536 131072 262144 524288 1048576 2097152 4194304 8388608 16777216 33554432 67108864
do
  # Clear kernel cache to ensure more accurate test
  [ $EUID -eq 0 ] && [ -e /proc/sys/vm/drop_caches ] && echo 3 > /proc/sys/vm/drop_caches

  # Read test file out to /dev/null with specified block size
  DD_RESULT=$(dd if=$TEST_FILE of=/dev/null bs=$BLOCK_SIZE 2>&1 1>/dev/null)

  # Extract transfer rate
  TRANSFER_RATE=$(echo $DD_RESULT | \grep --only-matching -E '[0-9.]+ ([MGk]?B|bytes)/s(ec)?')

  printf "$PRINTF_FORMAT" "$BLOCK_SIZE" "$TRANSFER_RATE"
done

# Clean up the test file if we created one
if [ $TEST_FILE_EXISTS -ne 0 ]; then rm $TEST_FILE; fi

GitHub에서보기

이 경우 중요한 차이점은 테스트 파일이 스크립트로 작성된 파일이라는 것입니다. 기존 파일에서이 명령을 가리 키지 마십시오. 그렇지 않으면 기존 파일이 임의의 데이터로 덮어 쓰기됩니다!

내 특정 하드웨어의 경우 HDD에서 128K가 가장 최적의 입력 블록 크기이고 SSD에서 32K가 가장 최적이라는 것을 알았습니다.

이 답변은 대부분의 결과를 다루지 만 블로그 게시물을 작성 하기에 충분한 최적의 dd 블록 크기를 결정 해야했습니다. 내가 수행 한 테스트에 대한 자세한 내용을 찾을 수 있습니다.

이 StackOverflow 게시물도 유용 할 수 있습니다. dd : 최적의 블록 크기를 계산하는 방법?


한 사람에게 낚시를 가르치십시오 = +1
HackSlash

@ tdg5 이것은 훌륭한 스크립트이지만 Windows 7 환경의 Cygwin 내에서 실행될 때 치명적인 오류가 발생합니다. Cygwin에서 작동하는 버전이 있습니까?
Hashim
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.