EC2에서 호스팅되는 Tomcat 앞에 Apache 웹 서버가 있으며 인스턴스 유형은 34GB 메모리로 매우 큽니다.
우리의 응용 프로그램은 많은 외부 웹 서비스를 다루며 피크 시간 동안 요청에 응답하는 데 거의 300 초가 걸리는 매우 거친 외부 웹 서비스가 있습니다.
사용량이 많은 시간 동안 서버는 약 300 개의 httpd 프로세스에서 질식합니다. ps -ef | grep httpd | 화장실 -l = 300
나는 googled하고 수많은 제안을 찾았지만 아무것도 효과가없는 것 같습니다. 다음은 온라인 리소스에서 직접 가져온 일부 구성입니다.
아파치와 바람둥이에서 최대 연결 및 최대 클라이언트의 제한을 늘 렸습니다. 구성 세부 사항은 다음과 같습니다.
// 아파치
<IfModule prefork.c>
StartServers 100
MinSpareServers 10
MaxSpareServers 10
ServerLimit 50000
MaxClients 50000
MaxRequestsPerChild 2000
</IfModule>
//수코양이
<Connector port="8080" protocol="org.apache.coyote.http11.Http11NioProtocol"
connectionTimeout="600000"
redirectPort="8443"
enableLookups="false" maxThreads="1500"
compressableMimeType="text/html,text/xml,text/plain,text/css,application/x-javascript,text/vnd.wap.wml,text/vnd.wap.wmlscript,application/xhtml+xml,application/xml-dtd,application/xslt+xml"
compression="on"/>
//Sysctl.conf
net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_tw_recycle=1
fs.file-max = 5049800
vm.min_free_kbytes = 204800
vm.page-cluster = 20
vm.swappiness = 90
net.ipv4.tcp_rfc1337=1
net.ipv4.tcp_max_orphans = 65536
net.ipv4.ip_local_port_range = 5000 65000
net.core.somaxconn = 1024
나는 수많은 제안을 시도했지만 헛되이 .. 이것을 고치는 방법? m2xlarge 서버가 300 개 이상의 요청을 처리해야한다고 확신합니다. 구성에 문제가있을 수 있습니다.
서버는 사용량이 많은 시간 동안과 [300 초 지연된] 웹 서비스가 응답하기를 기다리는 300 개의 동시 요청이있을 때만 질식합니다.
방금 netstat로 TCP 연결을 모니터링하고있었습니다.
TIME_WAIT 상태에서 약 1000 개의 연결을 찾았습니다. 성능 측면에서 무슨 의미인지 알지 못합니다. 문제에 추가해야한다고 확신합니다.
TOP 출력
8902 root 25 0 19.6g 3.0g 12m S 3.3 8.8 13:35.77 java
24907 membase 25 0 753m 634m 2528 S 2.7 1.8 285:18.88 beam.smp
24999 membase 15 0 266m 121m 3160 S 0.7 0.3 51:30.37 memcached
27578 apache 15 0 230m 6300 1536 S 0.7 0.0 0:00.03 httpd
28551 root 15 0 11124 1492 892 R 0.3 0.0 0:00.25 top
Output of free -m
total used free shared buffers cached
35007 8470 26536 0 1 61
8407 26599
15999 15 15984
output of iostat
avg-cpu: %user %nice %system %iowait %steal %idle
26.21 0.00 0.48 0.13 0.02 73.15
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda1 14.36 4.77 329.37 9005402 622367592
sdb 0.00 0.00 0.00 1210 48
또한 피크 시간에 membase 서버에 대한 약 10-15k tcp 연결이 있습니다. [local]
MODJK 로그의 일부 오류, 이것이 문제에 약간의 빛을 비추 길 바랍니다 ..
[Wed Jul 11 14:39:10.853 2012] [8365:46912560456400] [error] ajp_send_request::jk_ajp_common.c (1630): (tom2) connecting to backend failed. Tomcat is probably not started or is listening on the wrong port (errno=110)
[Wed Jul 11 14:39:18.627 2012] [8322:46912560456400] [error] ajp_send_request::jk_ajp_common.c (1630): (tom2) connecting to backend failed. Tomcat is probably not started or is listening on the wrong port (errno=110)
[Wed Jul 11 14:39:21.358 2012] [8351:46912560456400] [error] ajp_get_reply::jk_ajp_common.c (2118): (tom1) Tomcat is down or refused connection. No response has been sent to the client (yet)
[Wed Jul 11 14:39:22.640 2012] [8348:46912560456400] [error] ajp_get_reply::jk_ajp_common.c (2118): (tom1) Tomcat is down or refused connection. No response has been sent to the client (yet)
~
Worker.properties
workers.tomcat_home=/usr/local/tomcat/
worker.list=loadbalancer
worker.tom1.port=8009
worker.tom1.host=localhost
worker.tom1.type=ajp13
worker.tom1.socket_keepalive=True
worker.tom1.connection_pool_timeout=600
worker.tom2.port=8109
worker.tom2.host=localhost
worker.tom2.type=ajp13
worker.tom2.socket_keepalive=True
worker.tom2.connection_pool_timeout=600
worker.loadbalancer.type=lb
worker.loadbalancer.balanced_workers=tom1,tom2
worker.loadbalancer.sticky_session=True
worker.tom1.lbfactor=1
worker.tom1.socket_timeout=600
worker.tom2.lbfactor=1
worker.tom2.socket_timeout=600
// 해결
귀중한 제안에 대해 모두 감사하십시오. AJP 1.3 커넥터의 maxThreads 설정을 놓쳤습니다. 이제 모든 것이 제어됩니다.
또한 nginx와 같은 기반 서버도 살펴보기 시작했습니다.
top어떻습니까? 어때요 free -m? 그리고 마지막으로 iostat?