하둡에서 -copyFromLocal의 현재 프로세스를 표시하는 방법


10

나는 여전히 하둡의 초보자 학습자이며 이번에는 106GB 파일을 처리하려고했습니다. 내가 사용하는 -copyFromLocal내 하둡 DFS에 그렇게 큰 파일을 복사하는 것이 아니라 파일이 큰이기 때문에 나는 현재의 복사 상태에 대한 단서없이 긴 시간을 기다려야한다.

이 명령으로 현재 파일 복사 상태를 표시하는 방법이 있습니까?

도움을 주셔서 감사합니다.

답변:


14

CopyFromLocal파일 복사 진행률을 표시 할 수 없습니다. 또는 다른 쉘을 열고를 실행할 수 $ watch hadoop fs -ls <filenameyouarecopying>있습니다. 파일과 파일 크기가 2.0 초마다 한 번씩 표시됩니다.


1
문서화되지 않은 경우 존재하지 않습니다. :-)
SunnyShah

2

pv명령을 사용하여 로컬 파일 읽기 진행률을 추적 하고 파일 내용을 hdfs dfsstdin으로 파이프 할 수도 있습니다 .

pv mylargefile.txt | hdfs dfs -put - /path/to/file/on/hdfs/mylargefile.txt


pv이러한 저평가 도구 IMO입니다. 여기서 일을 완벽하게합니까?
Michael Mior

1

복사 명령 (copyFromLocal, copyToLocal, get, put)에 대한 자세한 옵션이없는 것 같습니다. 가장 좋은 방법은 진행 상황을 측정하기 위해 HDFS의 대상 위치에있는 파일 크기를 보는 것입니다.


1

"nohup &"를 사용하여 백그라운드 프로세스로 복사를 실행할 수 있습니다. nohup은 서버에서 로그 아웃 한 후에도 프로세스가 실행되도록합니다. 필요할 때마다 "hadoop fs -ls"를 사용하여 프로세스를 확인할 수 있습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.