IPSec 터널을 통한 10Mbps로 제한된 20Mbps WAN


11

최근 10 / 10Mbps 파이버에서 20 / 20Mbps 파이버 링크로 원격 사이트를 업그레이드했습니다 (지하실에서 파이버, 지하실에서 사무실까지의 VDSL, 약 30 미터). 이 사이트와 중앙 사이트간에 정기적으로 큰 (멀티 기가) 파일 사본이 있으므로 이론상 20/20으로 링크를 늘리면 전송 시간이 대략 절반으로 줄어 듭니다.

파일 복사 전송 (예 : robocopy어느 한 방향으로 파일을 복사하거나 Veeam Backup and Recovery 복제)을 사용하는 경우 10Mbps로 제한됩니다.

업그레이드하기 전에 :

여기에 이미지 설명을 입력하십시오

업그레이드 후 ( robocopy) :

여기에 이미지 설명을 입력하십시오

거의 동일합니다 (전송 시간의 차이를 무시하십시오).

전송은 Cisco ASA5520과 Mikrotik RB2011UiAS-RM 사이의 IPSec 터널을 통해 수행됩니다 .

첫 생각 :

  • QoS-아닙니다. QoS 규칙은 있지만이 흐름에 영향을 미치지는 않습니다. 어쨌든 확인하기 위해 몇 분 동안 모든 규칙을 비활성화했으며 변경 사항은 없습니다.
  • 소프트웨어 정의 한계. 이 트래픽의 대부분은 오프 사이트로 배송되는 Veeam Backup and Recovery입니다. 그러나 여기에 정의 된 제한은 없습니다. 또한 방금 똑바로 robocopy똑같은 통계를 보았습니다.
  • 하드웨어를 사용할 수 없습니다. 5520의 발표 된 성능 수치는 225Mbps의 3DES 데이터이며 Mikrotik은 숫자를 공개하지 않지만 10Mbps 이상입니다. 이러한 전송 테스트를 수행 할 때 Mikrotik의 CPU 사용량은 약 25 % -33 %입니다. (또한 IPSec 터널을 통한 HTTP 전송은 20Mbps에 가깝습니다)
  • TCP 창 크기와 결합 된 대기 시간? 사이트 간 대기 시간은 15ms이므로 최악의 경우 32KB 창 크기 32*0.015는 최대 2.1MB / 초입니다. 또한 여러 동시 전송은 여전히 ​​최대 10Mbps를 추가하므로이 이론을 지원하지 않습니다.
  • 어쩌면 소스와 대상이 모두 똥일까요? 음, 소스는 1.6GB / sec의 지속적인 순차 읽기를 수행 할 수 있으므로 그렇지 않습니다. 대상은 200MB / sec의 지속적인 순차 쓰기를 수행 할 수 있으므로 그렇게하지는 않습니다.

이것은 매우 이상한 상황입니다. 나는 전에 이런 식으로 어떤 것도 분명히 보지 못했습니다.

다른 곳을 볼 수 있습니까?


추가 조사에서 IPSec 터널을 문제로 지적하고 있습니다. 나는 인위적인 예제를 만들어 사이트에 두 개의 공용 IP 주소 사이에 직접 몇 가지 검사를 한 다음 한 정확한 는 IPSec 만의 10Mbps를 내부 IP 주소를 사용하여 동일한 테스트를, 나는 암호화되지 않은 인터넷을 통해 20Mbps의를 복제 할 수 있었고, 측면.


이전 버전에는 HTTP에 대한 청어가있었습니다. 이것을 잊어라, 이것은 잘못된 테스트 메커니즘이었다.

제온의 제안에 따라 내가 지원을 물었을 때 내 ISP에 의해 echo'd, 나는 1422로의 IPSec 데이터에 대한 MSS을 드롭하는 압착 롤러 규칙을 설정 한 - 이 계산에 따라 :

 1422   +  20 + 4 +  4 +   16  +   0     +      1    +     1     +   12
PAYLOAD  IPSEC SPI ESP  ESP-AES ESP (Pad)  Pad Length Next Header ESP-SHA

ISP의 1480 MTU에 적합합니다. 그러나 아쉽게도 효과적인 차이는 없습니다.


wireshark 캡처를 비교 한 후 TCP 세션은 이제 양쪽 끝에서 1380의 MSS를 협상합니다 (몇 가지 사항을 조정하고 수학이 짜증나는 경우 버퍼를 추가 한 후 힌트 : 아마 그렇습니다). 어쨌든 1380은 ASA의 기본 MSS이기도합니다.


트래픽을 측정하는 데 사용했던 Mikrotik 내부 도구에 이상한 데이터 가 있습니다. 아무것도 될 수 없습니다. 필터링 된 쿼리를 사용하면서 이전에는 이것을 알지 못했으며 필터를 제거했을 때만 이것을 보았습니다.


MTU는 어떻게 생겼습니까?
제온

좋은 지적. 양쪽 끝 스위치는 9000, 서버와 클라이언트는 1500, 링크의 VDSL 부분은 1480입니다. 그것이 내가 제어하는 ​​링크의 유일한 부분입니다.
Mark Henderson

ping -t -f -l 1500 (실패 후 20 씩 감소) 대상, 약 1300에 도달하면 작동 할 것입니다. ASA / Mikrotik IPsec 터널에서 MTU를 조정해야하거나 설정할 수 있음을 나타냅니다. 조각을 크게 떨어 뜨리지 않습니다.
제온

1394내가 통과 할 수 있었던 가장 큰 MTU입니다.
Mark Henderson

데이터가 조각화되고 있으므로 터널의 MTU를 1350-1380으로 줄이면 처리량이 증가합니다. IPsec 오버 헤드는 약 84 바이트 (캡슐화 등에 따라 다름)이므로 1480-84 = 1396이며, 최대 값에 가깝습니다.
제온

답변:


3

CPU가 세 번째로 확인되었지만 다음과 같이 썼습니다.

이러한 전송 테스트를 수행 할 때 Mikrotik의 CPU 사용량은 약 25 % -33 %입니다

CPU 그래프로 확인되는

여기에 이미지 설명을 입력하십시오

하드웨어 리소스 오프로드가있는 모델을 얻지 않는 한 대부분의 Mikrotik 라우터가 3DES 또는 AES 암호화로 11Mbps 이상의 IPSec 트래픽을 푸시 할 수 없음 을 외부 리소스 (예 : 여러 지원 포럼 및 블로그 )에서 확인했습니다. .

따라서 이것은 하드웨어 제한 일뿐입니다. 나는 훨씬 일찍 그것을 잡았어야했지만 어떤 이유로 Mikrotik은 그것이 CPU에 묶여 있음을 나에게 알리지 않았다.

쇼핑하러 간다.


IPSec 트래픽에이 상한을 부과하는 특정 제한 사항을 알고 싶습니다. 외부 소스 중 더 자세한 설명이 있습니까?
blacklight

불행히도. 11Mbps 가이 라우터의 최대 값으로 던져지는 Mikrotik 포럼에서 일부 스레드가 발견되었습니다 (여기에서 확인한 것처럼 보입니다). 내가 그 남자와 연결 한 블로그는 테스트를 수행하고 약 1Mbps의 트래픽을 얻었지만 훨씬 더 낮은 전력의 라우터에서 이루어졌다. 광산은 약 6-10 배 더 강력해야하며 모든 IPSec 트래픽의 6-10 배를 얻는 것처럼 보입니다. CPU 바운드 문제, IRQ 바운드 문제 또는 메모리 바운드 문제처럼 보이지 않습니다. 실제로 무슨 일이 일어나고 있는지 전혀 모른다.
Mark Henderson

2

범인이 CPU임을 확인할 수 있습니다. 여기 에서 Mikrotik RB750GL을 벤치마킹하고 AES-128 트래픽으로 12Mb / s (3DES에서는 6.0Mb / s 만 측정)를 측정했습니다.

귀하의 결과는 저의 기록과 완벽하게 일치합니다.


750과 2011 사이의 추가 200Mhz 속도는 IPSec 속도와 아무런 차이가 없었습니다. Mikrotik이 이러한 수치를 어딘가에 게시하기를 바랍니다.
Mark Henderson
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.