«batch-processing» 태그된 질문

나는 하루에 많은 시뮬레이션을 수행하는 멀티 스레드 소프트웨어를 작성했습니다. 이것은 CPU를 많이 사용하는 작업이므로 클라우드 서비스, 일반적으로 코어 당 1GB와 같은 구성에서이 프로그램을 실행했습니다. CentOS 6.7을 실행 중이며 /proc/cpuinfo4 개의 VPS 코어가 2.5GHz임을 알려줍니다. processor : 3 vendor_id : GenuineIntel cpu family : 6 model : 63 model name : …

34 performance  vps  centos6  performance-tuning  batch-processing 

매뉴얼 페이지에 따르면, 실행 행 중 하나가 오류 255로 종료되면 xargs가 종료됩니다. 명령 호출이 255 상태로 종료되면 xargs는 추가 입력을 읽지 않고 즉시 중지됩니다. 이 경우 stderr에 오류 메시지가 발행됩니다. xargs 가 이것을 하지 않도록하려면 어떻게해야합니까? 한 번에 50 줄씩 1500 줄 정도의 배치 작업을 실행하려고합니다. 나는 그것이 특정 라인에서 …

27 bash  command-line-interface  batch-processing  xargs 

S3에서 한 번에 수천 또는 수만 개의 파일을 일괄 적으로 삭제할 수 있기를 원합니다. 각 파일은 1MB에서 50MB 사이입니다. 당연히, 나는 파일이 삭제되는 동안 사용자 (또는 내 서버)가 대기하는 것을 원하지 않습니다. 따라서 질문 : S3는 특히 많은 수의 파일을 삭제할 때 파일 삭제를 어떻게 처리합니까? 이를 수행하고 AWS가 대부분의 …

16 amazon-s3  batch-processing