이 S3 요청은 어디에서 발생합니까?


2

최근에 EC2에서 Postfix 이메일 서비스를 실행하기위한 기본 이미지로 사용하기 위해 CentOS 6.4 Amazon 머신 이미지 (AMI)를 처음부터 만들려고 노력하고 있습니다. 프로세스를 배우기 위해 EC2 API의 ec2-import-volume명령을 사용하여 내가 만든 디스크 이미지를 가져 오기 시작했습니다 .

업로드 된 이미지에서 AMI를 등록하고 실행하는 데 여러 번의 시도가 실패한 후,이 업로드에서 더 이상 필요하지 않은 몇 GB의 파일을 사용 비용을 줄이기 위해 삭제했습니다.

이 프로세스 전체에서 AWS 비용을 면밀히 관찰 한 결과 최근에 내가 처리 할 수없는 S3 요청에 대한 요금이 누적되는 것으로 나타났습니다.

오늘 청구서 금액이 예상보다 약 30 달러 높았으며 조사를 위해 사용량 보고서를 다운로드했습니다. 이 요청의 가치가 수백 메가 바이트 보여줍니다 만 오늘 내가 사용하는 버킷 이상 일 전 가져 오기 명령을.

이러한 요청의 출처를 이해하지 못하면서 해당 버킷에 대해 S3 로깅을 활성화하고 로그가 표시 될 때까지 기다렸습니다. 그리고 그들이 한 ... 메가 바이트 가치, 가져 오기 명령에 의해 S3에 업로드 부분에 대한 모든 보여주는 HEAD 요청 일 전에 발행에서 오는 ec2-54-244-xxx-xxx.us-west-2.compute.amazonaws.com같은 사용자 에이전트와 JetS3t/0.8.0 (Linux amsz-x.x.x.x; amd64; JVM 1.6.0_20).

일부 상황 :

  • 문제 버킷에 액세스 할 수있는 유일한 사람
  • 요청이 발생했을 때 실행중인 EC2 인스턴스 또는 S3와 관련된 다른 항목이 없었습니다.
  • 기록 된 요청의 사용자 에이전트가 인식하는 인스턴스를 설명하지 않습니다

이러한 모든 요청은 어디에 생성됩니까?


2
수퍼 유저에 오신 것을 환영합니다! 그것은 오히려 제목 :-)에 해결로 표시보다, 대답에 편집을 변환하는 것이 좋습니다
happy_soil

감사! 아직 담당자가 충분하지 않습니다. 시간 제한이지나 자마자 내가 속한 곳에 물건을 넣습니다. ; D
mossymaker

죄송합니다. 담당자가 필요하다는 사실을 몰랐습니다.
happy_soil

그렇습니다 — 걱정하지 마십시오! 좋은 Q & A 양식을 장려하는 사람들을 보게되어 기쁩니다.
mossymaker

솔루션을 이미 가지고 있다면 (완벽히 허용됨) 질문과 동시에 답변을 게시했을 수 있습니다.
ChrisF

답변:


1

AWS 콘솔에서 아무것도 보지 못했지만 ec2-import-volumeEC2 API 도구 의 명령이 범인 일 것으로 의심되어 관련을 발견했습니다 ec2-describe-conversion-tasks.

이 작업을 실행하면 삭제 된 이후 디스크 이미지 데이터의 변환을 계속 시도한 두 개의 보류중인 작업 과 두 개의 만료 된 작업이 반복해서 나타납니다 .

발급 ec2-cancel-conversion-task으로 HEAD 요청에서 $ 30를 생성하는 프로세스가 종료되었습니다. 변환 시스템은 삭제 된 디스크 이미지 데이터로 인한 404를 지능적으로 처리하기위한 로직이없는 것 같습니다. 아마도 약간의 개선과 더 나은 문서화가있을 것입니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.