10GigE에서 DRBD 끔찍한 동기화 성능

고 가용성 서비스를 호스팅하기 위해 RAID 어레이 (8 코어, 16GB RAM, 12x2TB RAID6), 3 개의 10GigE 인터페이스가있는 동일한 서버 쌍을 설정했습니다.

시스템은 현재 Debian 7.9 Wheezy oldstable을 실행하고 있습니다 (corosync / pacemaker는 8.x 안정도 및 테스트에서도 사용할 수 없기 때문에).

• 로컬 디스크 성능은 약 900MB / s 쓰기, 1600MB / s 읽기입니다.
• 머신 간 네트워크 처리량은 700MB / s 이상입니다.
• iSCSI를 통해 각 머신은 700MB / s 이상의 상대방 스토리지에 쓸 수 있습니다.

그러나 DRBD를 구성하는 방식에 관계없이 처리량은 100MB / s로 제한됩니다. 실제로 하드 코딩 된 한계처럼 보입니다. 설정을 조정하여 성능을 안정적으로 낮출 수는 있지만 1Gbit를 초과하지는 않습니다 (한 번에 몇 초 동안 122MB / s에 도달). 나는 정말로 이것에 머리를 당기고있다.

• 일반 바닐라 커널 3.18.24 amd64
• drbd 8.9.2 ~ rc1-1 ~ bpo70 + 1

구성은 두 파일로 나뉩니다. global-common.conf:

global {
        usage-count no;
}

common {
        handlers {
        }

        startup {
        }

        disk {
                on-io-error             detach;
         #       no-disk-flushes ;
        }
        net {
                max-epoch-size          8192;
                max-buffers             8192;
                sndbuf-size             2097152;
        }
        syncer {
                rate                    4194304k;
                al-extents              6433;
        }
}

그리고 cluster.res:

resource rd0 {
        protocol C;
        on cl1 {
                device /dev/drbd0;
                disk /dev/sda4;
                address 192.168.42.1:7788;
                meta-disk internal;
        }

        on cl2 {
                device /dev/drbd0;
                disk /dev/sda4;
                address 192.168.42.2:7788;
                meta-disk internal;
        }
}

cat /proc/drbd슬레이브 에서 출력 :

version: 8.4.5 (api:1/proto:86-101)
srcversion: EDE19BAA3D4D4A0BEFD8CDE 
 0: cs:SyncTarget ro:Secondary/Secondary ds:Inconsistent/UpToDate C r-----
    ns:0 nr:4462592 dw:4462592 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:16489499884
        [>....................] sync'ed:  0.1% (16103024/16107384)M
        finish: 49:20:03 speed: 92,828 (92,968) want: 102,400 K/sec

vmstat 2마스터 에서 출력 (두 머신 모두 거의 유휴 상태 임) :

procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 0  0      0 14952768 108712 446108    0    0   213   254   16    9  0  0 100  0
 0  0      0 14952484 108712 446136    0    0     0     4 10063 1361  0  0 99  0
 0  0      0 14952608 108712 446136    0    0     0     4 10057 1356  0  0 99  0
 0  0      0 14952608 108720 446128    0    0     0    10 10063 1352  0  1 99  0
 0  0      0 14951616 108720 446136    0    0     0     6 10175 1417  0  1 99  0
 0  0      0 14951748 108720 446136    0    0     0     4 10172 1426  0  1 99  0

iperf두 서버 간의 출력 :

------------------------------------------------------------
Client connecting to cl2, TCP port 5001
TCP window size:  325 KByte (default)
------------------------------------------------------------
[  3] local 192.168.42.1 port 47900 connected with 192.168.42.2 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  6.87 GBytes  5.90 Gbits/sec

분명히 초기 동기화는 다소 느리지 만이 속도는 느리지 않습니다. 또한 동기화 속도를 조절하려는 시도에는 실제로 반응하지 않습니다 drbdadm disk-options --resync-rate=800M all.

최신 버전의 DRBD (8.3.9 이상)에는 튜닝이 필요한 동적 재 동기화 컨트롤러가 있습니다. DRBD 설정의 이전 버전에서는 syncer {rate;}충분했습니다. 이제는 동적 재 동기화 속도를 위해 가볍게 제안되는 출발점으로 더 많이 사용됩니다.

동적 동기화 컨트롤러는 DRBD 구성의 디스크 섹션에있는 "c- 설정"으로 조정됩니다 ( $ man drbd.conf이러한 각 설정에 대한 자세한 내용 참조 ).

이 노드들 사이에 10Gbe를 사용하고 프로토콜 C가 사용되므로 지연 시간이 짧다고 가정하면 다음 구성이 더 빠르게 움직여야합니다.

리소스 rd0 {
        프로토콜 C;
        디스크 {
                c- 충전-표적 10M;
                c- 최대 속도 700M;
                c- 계획-전도 7;
                c- 최소 속도 4M;
        }
        cl1 {
                장치 / dev / drbd0;
                디스크 / dev / sda4;
                주소 192.168.42.1:7788;
                메타 디스크 내부;
        }

        cl2 {
                장치 / dev / drbd0;
                디스크 / dev / sda4;
                주소 192.168.42.2:7788;
                메타 디스크 내부;
        }
}

여전히 만족스럽지 않으면 max-buffers최대 12k를 설정하십시오. 여전히 만족스럽지 않으면 c-fill-target2M 단위로 시도해 볼 수 있습니다 .

다른 사람이 다음 설정을 사용하도록 제안했습니다.

        disk {
                on-io-error             detach;
                c-plan-ahead 0;
        }
        net {
                max-epoch-size          20000;
                max-buffers             131072;
        }

그리고 성능이 우수합니다.

편집 : @ Matt Kereczman 및 기타 제안에 따라 마침내 다음과 같이 변경되었습니다.

disk {
        on-io-error             detach;
        no-disk-flushes ;
        no-disk-barrier;
        c-plan-ahead 0;
        c-fill-target 24M;
        c-min-rate 80M;
        c-max-rate 720M;
} 
net {
        # max-epoch-size          20000;
        max-buffers             36k;
        sndbuf-size            1024k ;
        rcvbuf-size            2048k;
}

재 동기화 속도가 빠릅니다.

cat /proc/drbd
version: 8.4.5 (api:1/proto:86-101)
srcversion: EDE19BAA3D4D4A0BEFD8CDE
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r---n-
    ns:133246146 nr:0 dw:2087494 dr:131187797 al:530 bm:0 lo:0 pe:5 ua:106 ap:0 ep:1 wo:d oos:4602377004
        [>....................] sync'ed:  2.8% (4494508/4622592)M
        finish: 1:52:27 speed: 682,064 (646,096) K/sec

다음 설정과 재 동기화하는 동안 쓰기 속도가 우수합니다 (로컬 쓰기 속도의 80 %, 전체 회선 속도).

# dd if=/dev/zero of=./testdd bs=1M count=20k
20480+0 enregistrements lus
20480+0 enregistrements écrits
21474836480 octets (21 GB) copiés, 29,3731 s, 731 MB/s

읽기 속도는 정상입니다 :

# dd if=testdd bs=1M count=20k of=/dev/null
20480+0 enregistrements lus
20480+0 enregistrements écrits
21474836480 octets (21 GB) copiés, 29,4538 s, 729 MB/s

나중에 편집 :

완전 재 동기화 후 성능은 매우 우수합니다 (전선 쓰기, 로컬 속도 읽기). 재 동기화는 빠르며 (5/6 시간) 성능을 크게 손상시키지 않습니다 (와이어 속도 읽기, 와이어 속도 쓰기). 나는 확실히 c-plan-ahead를 0으로 유지할 것입니다. 0이 아닌 값을 사용하면 재 동기화가 너무 깁니다.

c-plan-ahead는 동적 동기화 속도 컨트롤러를 활성화하려면 양수 값을 설정해야합니다. 디스크 c-plan-ahead 15; // 5 * RTT / 0.1s unit,in my case is 15 c-fill-target 24; c-max-rate 720M;