«parallelism» 태그된 질문

.txt 파일에 다음과 같은 IP 주소 목록이 있습니다. 1.1.1.1 2.2.2.2 3.3.3.3 모든 IP 주소 뒤에는 서버가 있으며 모든 서버에는 포트 22에서 실행되는 sshd가 있습니다. 모든 서버가 known_hosts목록에 없습니다 (내 PC의 Ubuntu 10.04 LTS / bash). 이 서버에서 명령을 실행하고 출력을 수집하려면 어떻게해야합니까? 이상적으로는 모든 서버에서 명령을 병렬로 실행하고 싶습니다. 모든 …

46 ssh  scripting  parallelism 

프리 스케일 IMX6 쿼드 프로세서를 사용하고 있습니다. 이 top명령이 4 코어 모두 또는 단일 코어의 CPU 사용량을 나열 하는지 알고 싶습니다 . 응용 프로그램의 CPU 사용량이 4 코어 및 단일 코어에서 동일하다는 것을 알았습니다. 응용 프로그램의 CPU 사용량이 단일 코어에서 증가하고 4 코어에서 감소한다고 추측했지만 변경되지 않았습니다.

45 linux  top  parallelism  cpu-usage 

250GB 이상의 파일이 각각 2GB 인 폴더가 있습니다. 해당 파일에서 문자열 / 패턴을 검색하고 결과를 파일로 출력해야 output합니다. 다음 명령을 실행할 수 있다는 것을 알고 있지만 너무 느립니다 !! grep mypattern * > output 속도를 높이고 싶습니다. Java의 프로그래머이기 때문에 프로세스 속도를 높이기 위해 멀티 스레딩을 사용할 수 있다는 것을 …

38 grep  parallelism 

큰 파일 (1GB)을 다운로드해야합니다. 또한 Linux를 실행하는 여러 컴퓨터에 액세스 할 수 있지만 관리자 정책에 따라 각각 50kB / s 다운로드 속도로 제한됩니다. 이 파일 다운로드를 여러 컴퓨터에 배포하고 모든 세그먼트를 다운로드 한 후 병합하여 어떻게 더 빨리받을 수 있습니까?

38 download  cluster  parallelism 

Linux에서 둘 이상의 탭에서 동시에 명령을 실행하는 데 사용할 수있는 도구 / 명령이 있습니까? 동일한 명령을 실행하고 싶습니다. ./myprog argument1 argument2하나 이상의 쉘에서 동시에 뮤텍스가 스레드 프로그램에서 제대로 작동하는지 확인합니다. 나중에 코드에 스트레스를주기 위해이 프로그램의 인스턴스 수를 늘릴 수 있기를 원합니다. 나는 벽이하는 것과 같은 것을 찾고 있습니다. 나는 tty를 …

33 shell  terminal  parallelism 

가능한 빨리 컴파일하고 싶습니다. 그림을 이동. 그리고 -j옵션 에 따라 숫자 선택을 자동화하고 싶습니다 . 예를 들어 쉘 스크립트에서 프로그래밍 방식으로 해당 값을 선택할 수 있습니까? nproc컴파일 할 수있는 스레드 수와 동일한 출력이 있습니까? make -j1 make -j16

31 linux  make  cpu  parallelism  multiprocessor 

디스크 I / O 및 사용 가능한 RAM이 병목 현상 (CPU 시간에 제한이 없음)이라고 가정하면 한 번에 여러 메시지 요약을 계산할 수있는 도구가 있습니까? 특히 대용량 파일 (기가 바이트 단위)의 MD-5 및 SHA-256 다이제스트를 계산하는 것이 좋습니다. 나는 시도 openssl dgst -sha256 -md5했지만 하나의 알고리즘을 사용하여 해시 만 계산합니다. 예상되는 …

24 shell-script  hashsum  parallelism 

디렉토리에 PNG 이미지가 많이 있습니다. 이 이미지를 압축하기 위해 실행하는 pngout이라는 응용 프로그램이 있습니다. 이 응용 프로그램은 내가 한 스크립트에 의해 호출됩니다. 문제는이 스크립트가 다음과 같이 한 번에 하나씩 수행한다는 것입니다. FILES=(./*.png) for f in "${FILES[@]}" do echo "Processing $f file..." # take action on each file. $f store current …

23 shell  background-process  parallelism 

: 나는 bash는 스크립트를 세 가지 (또는 그 이상)한다고 가정하자 script1.sh, script2.sh하고 script3.sh. 이 세 스크립트를 모두 호출하고 병렬로 실행하고 싶습니다 . 이를 수행하는 한 가지 방법은 다음 명령을 실행하는 것입니다. nohup bash script1.sh & nohup bash script2.sh & nohup bash script3.sh & (일반적으로 스크립트를 완료하는 데 몇 시간 또는 …

19 bash  shell-script  background-process  parallelism 

입력 파일 (각 입력 줄이 많은 파일)로 가득 찬 디렉토리가 제공되는 쉘 스크립팅 문제가 있으며 각 출력을 고유 파일 (일명 file_1.input 필요)로 리디렉션하여 개별적으로 처리해야합니다. file_1.output에서 캡처되는 등). 사전 병렬 처리에서는 디렉토리의 각 파일을 반복하고 명령을 수행하면서 프로세서를 압도하지 않는 일종의 타이머 / 계산 기술을 수행합니다 (각 프로세스에 일정한 런타임이 …

18 scripting  parallelism  gnu-parallel 

xargs옵션과 함께 사용 하고 있습니다 --max-args=0(또는 -P 0). 그러나 공정의 출력은 stdout적절한 라인 분리를 고려하지 않고 스트림으로 병합됩니다 . 그래서 종종 다음과 같은 줄로 끝납니다. <start-of-line-1><line-2><end-of-line-1> 전체 출력 에서 패턴을 사용 egrep하면서 결과가 엉망이됩니다.^xargs 강제하는 몇몇 방법이있다 xargs(어느 한 프로세스의 출력은 연속 한, 임의의 순서로)의 처리 순서를 출력 쓰기는? 아니면 …

17 process  io  xargs  parallelism 

약 5 또는 6 개의 다른 프로그램을 통해 일부 데이터를 파이프 한 다음 최종 결과를 탭으로 구분 된 파일로 만드는 bash 쉘 스크립트가 있습니다. 그런 다음 별도의 유사한 데이터 세트에 대해 동일한 작업을 다시 수행하고 두 번째 파일로 출력합니다. 그런 다음 두 파일 모두 비교 분석을 위해 다른 프로그램에 입력됩니다. …

17 scripting  parallelism 

64 개의 코어가있는 원격 시스템으로 ssh 할 수 있습니다. 이 컴퓨터에서 640 개의 셸 스크립트를 병렬로 실행해야한다고 가정하겠습니다. 어떻게해야합니까? 640 스크립트를 10 개의 스크립트 각각 64 개 그룹으로 나누는 것을 볼 수 있습니다. 그런 다음 각 그룹 을 병렬 로 실행하는 방법 , 즉 사용 가능한 코어 중 하나에 각각 …

16 parallelism 

다음 시나리오를 고려하십시오. 두 개의 프로그램 A와 B가 있습니다. 프로그램 A는 stdout 문자열로 출력하는 반면 프로그램 B는 stdin에서 라인을 처리합니다. 이 두 프로그램을 사용하는 방법은 물론입니다. foo @ bar : ~ $ A | 비 이제 나는 이것이 하나의 핵심만을 먹는다는 것을 알았습니다. 따라서 궁금합니다. 프로그램 A와 B가 동일한 계산 …

16 shell  parallelism 

나는 puf (Parallel URL fetcher) 만 찾았지만 파일에서 URL을 읽을 수 없었습니다. 같은 puf < urls.txt 작동하지 않습니다. 서버에 설치된 운영 체제는 Ubuntu입니다.

15 ubuntu  wget  parallelism