0
하둡 클러스터간에 데이터를 전송하기위한 모범 사례
상황 : 기존 Hadoop 클러스터에서 새로운 Hadoop 클러스터로 약 100TB를 전송해야합니다. 두 클러스터는 각 클러스터의 이름 노드에서 직접 1GbE 연결을 갖습니다. 데이터 노드가 연결되어 있지 않습니다. 내가 시도한 것 : Distcp : 이전 데이터 노드와 새 데이터 노드가 연결되어 있지 않아 작동하지 않습니다. 각 mapreduce 작업에서 연결 시간이 초과되었다고보고합니다. hdfs …