rsync가 중단되어 파일 목록 작성


20
[root@centos /]# rsync -av --exclude thumbs /storage root@xx.27.1.xx:/storage
root@xx.27.1.xx's password: 
building file list ... 

한 시간 정도 앉아 있었는데 135GB의 이미지와 폴더

/storage 마운트 된 ext3 scsi 드라이브입니다.

rsync가 파일 / 디렉토리를 계산하는 데 오랫동안 앉아있는 것이 정상입니까?


파일이 몇 개입니까? 파일 수가 매우 많으면 시간이 걸립니다.
Helvick

아마 수천 ... 사용자 업로드 이미지 디렉토리 ...
Andrew Fashion

수천 개의 파일이있을 때 rsync 의이 부분이 한 시간 이상 걸리는 것을 보았습니다. 'top'을 실행하면 I / O 대기가 표시됩니까?
troyengel

내가 궁금해서, df -i당신은 IUsed/ storage에서 무엇을 가지고 있는지 말해 주실 수 있습니까? 얼마나 많은 파일 + 폴더가 있는지 대략적으로 알 수 있습니다.
Zoredache

1383641, 파일의 양입니까?
앤드류 패션

답변:


24

rsync 2.x는 전체 파일 목록을 먼저 작성합니다.

-P옵션을 추가하면 진행률 표시기가 나타납니다.

실제로 멈추고 있다고 생각되면 다른 터미널에서 rsync의 pid를 찾은 다음

  1. 실행 strace -p PID하고 무슨 일을 참조하십시오. (정지하려면 ^ C를 누르십시오.)

  2. ps -o wchan PID커널의 위치를 ​​확인하려면 실행 하십시오.


와우 strace멋지다! 아마도 원형의 무언가가 진행되고 있음을 알게 될 것입니다 : 조상 디렉토리 중 하나를 참조하는 링크처럼. 제 경우에는 깊이에 제한이없는 가상 파일 시스템을 사용하고있었습니다. 즉, 많은 하위 디렉토리를 "무한"하게했습니다tagfs/books/+/books/+/books/+/ ...
Zaz

@ Zaz 또한 깊이있는 하위 디렉토리가 많이 있습니다. 그러나 이것은 내 시스템 설계에 있습니다. 이 문제를 해결할 방법이 있습니까?
user1641443

@ user1641443 : 죄송합니다. 그 이상입니다.
Zaz

@ user1641443 : 1 : Martin이 말한 것처럼 rsync> 3.0을 사용해보십시오 . 2 : 더 작은 하위 트리에서 여러 개의 rsync 프로세스를 각각 실행합니다. 3 : 당신 만의 질문을여십시오.
poolie

15

여기설명 된 증분 파일 목록의 이점을 얻을 수있는 rsync 3.0.x 로 업그레이드해야 합니다 . 수백만 개의 이미지 (총 200GB)를 재 동기화하고 rsync 2.x에서 3.x로 이동할 때 엄청난 속도 향상을 보았습니다.

그렇더라도 모든 데이터를 처리하는 데 시간이 오래 걸릴 수 있습니다. 필자의 경우 여전히 두 개의 강력한 DL380 G5 서버 사이에서 한 시간 이상 걸립니다.


또한 특정 플래그는 이전 동작을 강제합니다. 나를 위해, 그것은이었다 --delay-updates.
Xiong Chiamiov 2018

1
@XiongChiamiov 내가 사용하는 유일한 옵션은 "-a"및 "--progress"이며 버전 3.1.x는 여전히 증분 파일 목록을 작성하고 있습니다. 왜?
Michael

3

당신은 지적 이전에du뿐만 아니라 매달려 있었다. 이 파일 시스템에 문제가 있으며 rsync무엇이든지 맞고 du있습니다.

디스크 문제를 나타내는 커널 오류 메시지가 있는지 확인할 수 있습니다. dmesg하단에 무엇이 있는지 입력 하고 확인하십시오.


1

"파일 목록 작성 중 ..."메시지 뒤의 정지는 MTU 불일치로 인해 발생할 수 있습니다. 예를 들어, MTU 9000으로 네트워크 인터페이스를 설정했지만 작은 패킷 사이에 스위치를 연결하지 않은 경우 (rsync 서버에 연결하는 경우) 파일 목록을 보내는 것과 같이 더 큰 것은 통과하지 않습니다.


많은 검색 후 나는 이것을 가로 질러 가서 확인하라는 메시지를 표시했습니다-표준 1450mtu로 VPN을 통해 rsync를 실행하고 있었지만 사이트 사이의 장비를 제어하지는 못했습니다 .vpn mtu를 1430으로 변경하고 비올라 rsync는 100 % 작동합니다 (그리고 갑자기 다른 네트워크 이상도 사라졌습니다!) 감사합니다!
l0ft13

0

이를 바탕과의 다른 질문 du /storage매달려 나를 그렇게 생각도하게 du또는 rsync문제입니다 아니라 몇 가지 문제가 함께있다 /storage.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.