열악한 IO 성능-PCIe NVMe Samsung 950 pro

방금 새 NVMe 드라이브에서 큰 이득을 기대하는 하드웨어 빌드를 완료했습니다. 이전의 성능이 예상보다 낮았으므로 (~ 3GB 전송) 마더 보드 / cpu / memory / hdd를 교체했습니다. 성능이 무엇을 두 번 동안 했다 , 그것은 여전히 절반 나는 SATA6 드라이브 프로 맥북 내 3 년 오래 된에 무엇을 얻을.

• CPU : i7-5820k 6 코어
• Mobo : MSI X99A MPOWER
• 메모리 : 32GB
• 드라이브 : Samsung 950 pro NVMe PCIe

우분투 (또는로 확인 16.04.1 LTS) :

Release:    15.10
Codename:   wily

4.2.0-16-generic

$ sudo blkid
[sudo] password for kross: 
/dev/nvme0n1p4: UUID="2997749f-1895-4581-abd3-6ccac79d4575" TYPE="swap"
/dev/nvme0n1p1: LABEL="SYSTEM" UUID="C221-7CA5" TYPE="vfat"
/dev/nvme0n1p3: UUID="c7dc0813-3d18-421c-9c91-25ce21892b9d" TYPE="ext4"

내 테스트 결과는 다음과 같습니다.

sysbench --test=fileio --file-total-size=128G prepare
sysbench --test=fileio --file-total-size=128G --file-test-mode=rndrw --max-time=300 --max-requests=0 run
sysbench --test=fileio --file-total-size=128G cleanup


Operations performed:  228000 Read, 152000 Write, 486274 Other = 866274 Total
Read 3.479Gb  Written 2.3193Gb  Total transferred 5.7983Gb  (19.791Mb/sec)
 1266.65 Requests/sec executed

Test execution summary:
    total time:                          300.0037s
    total number of events:              380000
    total time taken by event execution: 23.6549
    per-request statistics:
         min:                                  0.01ms
         avg:                                  0.06ms
         max:                                  4.29ms
         approx.  95 percentile:               0.13ms

Threads fairness:
    events (avg/stddev):           380000.0000/0.00
    execution time (avg/stddev):   23.6549/0.00

스케줄러는 다음과 none같이 설정됩니다 .

# cat /sys/block/nvme0n1/queue/scheduler
none

lspci정보 는 다음과 같습니다 .

# lspci -vv -s 02:00.0
02:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd Device a802 (rev 01) (prog-if 02 [NVM Express])
    Subsystem: Samsung Electronics Co Ltd Device a801
    Physical Slot: 2-1
    Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
    Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
    Latency: 0, Cache Line Size: 32 bytes
    Interrupt: pin A routed to IRQ 45
    Region 0: Memory at fb610000 (64-bit, non-prefetchable) [size=16K]
    Region 2: I/O ports at e000 [size=256]
    Expansion ROM at fb600000 [disabled] [size=64K]
    Capabilities: [40] Power Management version 3
        Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
        Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
    Capabilities: [50] MSI: Enable- Count=1/8 Maskable- 64bit+
        Address: 0000000000000000  Data: 0000
    Capabilities: [70] Express (v2) Endpoint, MSI 00
        DevCap: MaxPayload 128 bytes, PhantFunc 0, Latency L0s unlimited, L1 unlimited
            ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+
        DevCtl: Report errors: Correctable- Non-Fatal- Fatal- Unsupported-
            RlxdOrd- ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
            MaxPayload 128 bytes, MaxReadReq 512 bytes
        DevSta: CorrErr+ UncorrErr- FatalErr- UnsuppReq+ AuxPwr+ TransPend-
        LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L0s <4us, L1 <64us
            ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
        LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- CommClk+
            ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
        LnkSta: Speed 8GT/s, Width x4, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
        DevCap2: Completion Timeout: Not Supported, TimeoutDis+, LTR+, OBFF Not Supported
        DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis-, LTR-, OBFF Disabled
        LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-
             Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
             Compliance De-emphasis: -6dB
        LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete+, EqualizationPhase1+
             EqualizationPhase2+, EqualizationPhase3+, LinkEqualizationRequest-
    Capabilities: [b0] MSI-X: Enable+ Count=9 Masked-
        Vector table: BAR=0 offset=00003000
        PBA: BAR=0 offset=00002000
    Capabilities: [100 v2] Advanced Error Reporting
        UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
        UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
        UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
        CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- NonFatalErr+
        CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- NonFatalErr+
        AERCap: First Error Pointer: 00, GenCap+ CGenEn- ChkCap+ ChkEn-
    Capabilities: [148 v1] Device Serial Number 00-00-00-00-00-00-00-00
    Capabilities: [158 v1] Power Budgeting <?>
    Capabilities: [168 v1] #19
    Capabilities: [188 v1] Latency Tolerance Reporting
        Max snoop latency: 0ns
        Max no snoop latency: 0ns
    Capabilities: [190 v1] L1 PM Substates
        L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
              PortCommonModeRestoreTime=10us PortTPowerOnTime=10us
    Kernel driver in use: nvme

hdparm:

$ sudo hdparm -tT --direct /dev/nvme0n1

/dev/nvme0n1:
 Timing O_DIRECT cached reads:   2328 MB in  2.00 seconds = 1163.98 MB/sec
 Timing O_DIRECT disk reads: 5250 MB in  3.00 seconds = 1749.28 MB/sec

hdparm -v:

 sudo hdparm -v /dev/nvme0n1

/dev/nvme0n1:
SG_IO: questionable sense data, results may be incorrect
 multcount     =  0 (off)
 readonly      =  0 (off)
 readahead     = 256 (on)
 geometry      = 488386/64/32, sectors = 1000215216, start = 0

fstab

UUID=453cf71b-38ca-49a7-90ba-1aaa858f4806 /               ext4    noatime,nodiratime,errors=remount-ro 0       1
# /boot/efi was on /dev/sda1 during installation
#UUID=C221-7CA5  /boot/efi       vfat    defaults        0       1
# swap was on /dev/sda4 during installation
UUID=8f716653-e696-44b1-8510-28a1c53f0e8d none            swap    sw              0       0
UUID=C221-7CA5  /boot/efi       vfat    defaults        0       1

피오

여기에는 비슷한 벤치 마크 가 있습니다. fio로 테스트하고 disabled했을 때 sync다른 이야기입니다.

sync=1
1 job  - write: io=145712KB, bw=2428.5KB/s, iops=607, runt= 60002msec
7 jobs - write: io=245888KB, bw=4097.9KB/s, iops=1024, runt= 60005msec

sync=0
1 job  - write: io=8157.9MB, bw=139225KB/s, iops=34806, runt= 60001msec
7 jobs - write: io=32668MB, bw=557496KB/s, iops=139373, runt= 60004msec

sync한 작업과 7 개의 작업에 대한 전체 결과는 다음과 같습니다 .

$ sudo fio --filename=/dev/nvme0n1 --direct=1 --sync=1 --rw=write --bs=4k --numjobs=1 --iodepth=1 --runtime=60 --time_based --group_reporting --name=journal-test
journal-test: (g=0): rw=write, bs=4K-4K/4K-4K/4K-4K, ioengine=sync, iodepth=1
fio-2.1.11
Starting 1 process
Jobs: 1 (f=1): [W(1)] [100.0% done] [0KB/2368KB/0KB /s] [0/592/0 iops] [eta 00m:00s]
journal-test: (groupid=0, jobs=1): err= 0: pid=18009: Wed Nov 18 18:14:03 2015
  write: io=145712KB, bw=2428.5KB/s, iops=607, runt= 60002msec
    clat (usec): min=1442, max=12836, avg=1643.09, stdev=546.22
     lat (usec): min=1442, max=12836, avg=1643.67, stdev=546.23
    clat percentiles (usec):
     |  1.00th=[ 1480],  5.00th=[ 1496], 10.00th=[ 1512], 20.00th=[ 1528],
     | 30.00th=[ 1576], 40.00th=[ 1592], 50.00th=[ 1608], 60.00th=[ 1608],
     | 70.00th=[ 1608], 80.00th=[ 1624], 90.00th=[ 1640], 95.00th=[ 1672],
     | 99.00th=[ 2192], 99.50th=[ 6944], 99.90th=[ 7328], 99.95th=[ 7328],
     | 99.99th=[ 7520]
    bw (KB  /s): min= 2272, max= 2528, per=100.00%, avg=2430.76, stdev=61.45
    lat (msec) : 2=98.44%, 4=0.58%, 10=0.98%, 20=0.01%
  cpu          : usr=0.39%, sys=3.11%, ctx=109285, majf=0, minf=8
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=0/w=36428/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
  WRITE: io=145712KB, aggrb=2428KB/s, minb=2428KB/s, maxb=2428KB/s, mint=60002msec, maxt=60002msec

Disk stats (read/write):
  nvme0n1: ios=69/72775, merge=0/0, ticks=0/57772, in_queue=57744, util=96.25%

$ sudo fio --filename=/dev/nvme0n1 --direct=1 --sync=1 --rw=write --bs=4k --numjobs=7 --iodepth=1 --runtime=60 --time_based --group_reporting --name=journal-test
journal-test: (g=0): rw=write, bs=4K-4K/4K-4K/4K-4K, ioengine=sync, iodepth=1
...
fio-2.1.11
Starting 7 processes
Jobs: 6 (f=6): [W(2),_(1),W(4)] [50.4% done] [0KB/4164KB/0KB /s] [0/1041/0 iops] [eta 01m:00s]
journal-test: (groupid=0, jobs=7): err= 0: pid=18025: Wed Nov 18 18:15:10 2015
  write: io=245888KB, bw=4097.9KB/s, iops=1024, runt= 60005msec
    clat (usec): min=0, max=107499, avg=6828.48, stdev=3056.21
     lat (usec): min=0, max=107499, avg=6829.10, stdev=3056.16
    clat percentiles (usec):
     |  1.00th=[    0],  5.00th=[ 2992], 10.00th=[ 4512], 20.00th=[ 4704],
     | 30.00th=[ 5088], 40.00th=[ 6176], 50.00th=[ 6304], 60.00th=[ 7520],
     | 70.00th=[ 7776], 80.00th=[ 9024], 90.00th=[10048], 95.00th=[12480],
     | 99.00th=[15936], 99.50th=[18048], 99.90th=[22400], 99.95th=[23936],
     | 99.99th=[27008]
    bw (KB  /s): min=  495, max=  675, per=14.29%, avg=585.60, stdev=28.07
    lat (usec) : 2=4.41%
    lat (msec) : 2=0.57%, 4=4.54%, 10=80.32%, 20=9.92%, 50=0.24%
    lat (msec) : 250=0.01%
  cpu          : usr=0.14%, sys=0.72%, ctx=173735, majf=0, minf=63
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=0/w=61472/d=0, short=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
  WRITE: io=245888KB, aggrb=4097KB/s, minb=4097KB/s, maxb=4097KB/s, mint=60005msec, maxt=60005msec

Disk stats (read/write):
  nvme0n1: ios=21/122801, merge=0/0, ticks=0/414660, in_queue=414736, util=99.90%

조정

http://www.intel.com/content/dam/www/public/us/en/documents/technology-briefs/ssd-partition-alignment-tech에parted 기반한 수학뿐만 아니라 와의 정렬을 확인 했습니다 . -brief.pdf

kross@camacho:~$ sudo parted
GNU Parted 3.2
Using /dev/nvme0n1
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) unit s                                                           
(parted) print all                                                        
Model: Unknown (unknown)
Disk /dev/nvme0n1: 1000215216s
Sector size (logical/physical): 512B/512B
Partition Table: gpt
Disk Flags: 

Number  Start       End          Size        File system     Name                                 Flags
 1      2048s       206847s      204800s     fat32           EFI system partition                 boot, esp
 2      206848s     486957055s   486750208s  ntfs                                                 msftdata
 3      486957056s  487878655s   921600s     ntfs                                                 hidden, diag
 4      590608384s  966787071s   376178688s  ext4
 5      966787072s  1000214527s  33427456s   linux-swap(v1)

kross@camacho:~$ sudo parted /dev/nvme0n1
GNU Parted 3.2
Using /dev/nvme0n1
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) align-check opt 1                                                
1 aligned
(parted) align-check opt 2
2 aligned
(parted) align-check opt 3
3 aligned
(parted) align-check opt 4
4 aligned
(parted) align-check opt 5
5 aligned

TLDR;

연구 결과가 밝혀지지 않았지만 근본적으로 잘못 설정된 것이 있다고 생각합니다. 3 년 전 맥북 프로 (SATA6 포함)의 ~ 4 배의 처리량을 기대하고 있으며 NVMe로 처리량의 1/2을 받고 있습니다. 나는 noatime,nodiratime약간의 개선점을 주었지만 4x와 같은 것은 기대하지 않았다. 새로운 15.10 서버를 다시 파티션하거나 다시 설치하여 아무것도 남아 있지 않은지 확인하고 동일한 결과를 얻었습니다.

내 있습니까 fio동기 / 문제없이 동기화 나타내는 위의 결과는?

그래서 나는 슬레이트가 깨끗하고 무엇이든 시도 할 수 있습니다. 성능을 최대로 끌어 올리려면 어떻게해야합니까? 모든 참조를 환영합니다.

질문 해 주셔서 감사합니다. 정말 도움이되었습니다.

비슷한 경험, 다른 하드웨어 설정이 있습니다 (Intel NVMe SSD를 사용하고 있습니다). 그러나 우분투 16.04도 실행 중입니다. 이 기사 에서 찾은 증거와 비슷한 결과를 감안할 때 우분투가 NVMe 드라이브를 설정하는 방법에 문제가 있음을 확신했습니다.

우분투를 완전히 포기하지 않고 문제를 해결하기로 결정했습니다. 그러나 내가 한 일이 무엇이든, 내가 설명한대로 hdparm으로 테스트 할 때 2000 MB / sec 이상의 속도를 얻을 수 없었습니다.

그래서 파고 들었고 인텔에서 제공 하는 안내서를 찾았습니다 . 나는 그들이이 가이드에서 제안한 모든 것을 시도했고 한 부분이 다르다는 것을 발견했다. 하단 근처에서 드라이브 파티션을 올바르게 맞추는 방법에 대해 설명합니다. 이것은 내 설치와 일치하지 않는 부분입니다. 내 시작 블록을 4096 바이트로 나눌 수 없었습니다. 4k 섹터 크기 대신 512 바이트 섹터 크기를 사용하고있었습니다.

물론, 4096으로 나눌 수있는 값으로 파티션을 시작하기 위해 디스크를 포맷했으며 마지막으로 2000MB / s의 속도를 깰 수있었습니다.

지금은 조금 더 높을 것으로 예상되면 평균 2.3GB / s입니다. sudo fdisk -lNVMe 드라이브를 실행할 때 여전히 물리 섹터 크기가 512 바이트 인 것으로 표시됩니다. 계속 조사 할 계획이지만 이것이 도움이되기를 바랍니다.

주의 : 이 답변은 오래되었습니다. Linux 4.19부터 blk_mq가 기본 스케줄러 입니다. 느리게 실행되는 PCIe NVMe SSD의 문제는 다른 곳에서 발생했을 가능성이 큽니다.

원래 답변 :

추가 해주세요

scsi_mod.use_blk_mq=1

커널 부팅 매개 변수에 대해 그렇지 않으면 NVMe의 증가 된 명령 대기열과 대기열 당 명령의 이점을 보지 못할 것이라고 생각합니다.

참고 : 아치 용임을 알고 있지만 I / O 조정에 대한 자세한 내용 은 Wiki 를 참조하십시오.

이 스레드는 1 년입니다 (2016 년 10 월). 가장 많이지지 된 답변 중 하나는 2 년 된 (2015 년) 인텔 NVMe 드라이버를 권장합니다.

2017 년 2 월 삼성은 은 Linux 기반 부팅 ISO 설치 프로그램을 사용하는 펌웨어 업데이트 를 . 동일한 링크에 Windows 7/8/10 용으로 설치할 수있는 드라이버가 있습니다. 곧 새로운 Samsung 960 Pro와 새로운 Dell 기반 i7-6700 랩탑에 설치할 예정입니다. BIOS 플래싱 및 기타 Dell 기반 드라이버 업데이트와 함께.

이 오래된 스레드를 다시 방문하고 새로운 사용자에게 현재 (2017 년 10 월 11 일 현재) 링크를 제공하여 모든 옵션을 열어야한다고 생각합니다.

Linux에서 Samsung 960 Pro의 느린 성능으로 인해 Windows의 절반 속도로 Google 검색이 많이 반환되므로 가능한 한 많은 옵션을 검색하는 것이 좋습니다.

scsi_mod.use_blk_mq=1커널 매개 변수를 구현 한 후 :

$ systemd-analyze
Startup finished in 7.052s (firmware) + 6.644s (loader) + 2.427s (kernel) + 8.440s (userspace) = 24.565s

커널 매개 변수 제거 및 재부팅 :

$ systemd-analyze
Startup finished in 7.060s (firmware) + 6.045s (loader) + 2.712s (kernel) + 8.168s (userspace) = 23.986s

따라서 scsi_mod.use_blk_mq=1시스템 속도가 느려 지지 않는 것처럼 보입니다 . 한 번에 그것은 유익했을 수도 있습니다.

흥미로운 정보는 다음과 같습니다. Windows에서는 캐시 플러시가 비활성화 될 때까지 드라이브가 검토 벤치 마크에 따라 수행되지 않습니다. 일반적으로 이것은 직접 수행되지 않습니다. 대신 공급 업체 드라이버 (이 경우 Samsung NVMe 드라이버)가 설치됩니다.

공급 업체의 드라이버로 벤치 마크 한 다음 Windows에서 캐시 플러시를 비활성화하면 같은 숫자를 얻게됩니다. 공급 업체가 캐시 플러시를 무시하지 않은 경우에는 해당되지 않을 수 있습니다.

Linux-land로 번역하면 Windows에서 모든 리뷰에서 볼 수있는 큰 벤치 마크 숫자를 얻으려면 fsync안정성을 위해 모든 기능 을 사용하지 않도록 설정해야합니다 (fsync 또는 구체적으로 쓰기 장벽 없음). 잘못된 시간에 손실이 발생하면 구현에 따라 전체 FS가 손상 될 수 있습니다. 재정렬 된 쓰기는 "불가능한"상황을 만듭니다).

삼성의 "데이터 센터"SSD에는 캐시 된 데이터가 올바르게 플러시되도록 커패시터가 제공됩니다. 소비자 드라이브에는 해당되지 않습니다.

나는 어제 새로운 빌드에 1TB NVMe를 추가하여 첫 번째 원칙에서 이것을 해결했습니다. 나는 특히 행복하지 않으며 삼성 고객 지원팀에 연락하여 그들이 무엇을 말하는지 알기 시작했습니다.

아직 댓글을 달 수 없으므로 답변해야합니다. :-(

필자는 비슷한 드라이브를 가지고 있지 않지만 hdparm의 값이 괜찮다고 생각합니다. 그렇다면 sysbench를 차선책으로 사용한다고 가정합니다. --num-threads 매개 변수를 실험하여 드라이브에 더 많은 부하를 생성하십시오. 적어도 내 컴퓨터에서는 표준 SATA SSD에서 1 스레드 (기본값)와 16 스레드 사이의 차이가 약 1 : 4였습니다. 내 이해는 NVMe 드라이브가 병렬 작업에 부하를가할수록 빛을 발하기 시작한다는 것입니다.

sync = 1 (D_SYNC) 플래그 인 경우 대부분의 SSD가 얼굴에 평평하게 떨어집니다. 불행히도, 이것은 Ceph 저널에 잘 알려진 문제입니다. 자세한 내용 및 동기화가 활성화 된 상태에서 성능이 우수한 드라이브 목록은이 페이지를 참조하십시오.

http://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal-device/

내 M.2 슬롯이 10Mbps로 제한되었습니다. 이 한계를 극복하기 위해 PCIe 어댑터를 사용했습니다 : https://www.amazon.com/Lycom-DT-120-M-2-PCIe-to-PCIe-3-0-x4-Adapter-Support-M-2 -PCIe-2280-2260-2242 / dp / B00MYCQP38 /

당신의 마더 보드 는 말합니다 32Mbps의 양방 향이라고 생각하지만 어쩌면 사실이지만 어댑터가 나를 위해 일했기 때문에 언급 할 것이라고 생각했습니다 (온보드 M.2 슬롯에 연결하는 속도의 약 두 배를 얻었습니다). 나는 그것이 $ 25라고 생각하고 이미 충분한 시간을 보냈다면 시도해 볼 가치가 있습니다.

Amazon 리뷰에서 내 경험에 대해 썼습니다 : https://www.amazon.com/gp/customer-reviews/R21BXILGXW4D9C/ref=cm_cr_arp_d_rvw_ttl?ie=UTF8&ASIN=B01639694M