회사에서 엄청난(?) 데이터를 마이그레이션 할 일이 생겼습니다. 여기서 엄청나다는 표현의 기준이 애매하기는 하지만... 제 입장에서는 정말 엄청난 양의 데이터입니다. 데이터의 크기는 그렇게 크지 않은데, 4KB도 안 되는 크기의 파일과 폴더의 개수가 엄청나게 많기 때문에 일반적인 윈도우 탐색기나 copy 명령어로는 절대로 이 작업을 할 수 없습니다. 속도가 답이 안 나오기 때문입니다.

현재 작업하고 있는 데이터는 대략 총 2억개의(폴더 포함) 파일 7.1TB 정도 되는 크기입니다. 위 스샷에는 현재 1억 3744만개 파일과 725만개 폴더가 복사되고 있는 상황이네요.

아마 경험적으로 아시는 분들 많으리라 생각합니다만, 파일의 크기가 작으면서 개수가 엄청 많으면 복사 속도는 상당히 느려집니다. 위 스샷에 보면 속도가 11MB/s 정도 나오고 있는데요, Teracopy나 Fastcopy 같은 툴로 해보니 초당 1MB도 안 나왔습니다. 물론 이 서버 환경이 특수한 상황이긴 합니다만(네트웍 기반 iSCSI 디스크), 그래도 초당 1MB는 정말 너무 심하죠. 초당 1MB 속도로 7.1TB 옮기려면 약 3개월 정도가 걸리겠네요.

RichCopy는 이러한 환경에 사용할 최상의 도구입니다.

1. 파일 크기가 엄청나게 작고
2. 파일 개수가 엄청나게 많고
3. 폴더 개수도 엄청나게 많은 경우

RichCopy가 왜 좋은가 하면 바로 Multi Thread 방식이기 때문입니다. 즉 파일 입출력이 순차적으로 1개씩 일어나는 것이 아니라 동시에 Thread 방식으로 일어나기 때문에 위와같은 특수한 상황에서는 엄청난 속도 향상을 맛볼 수 있습니다.

RichCopy 다운로드
http://download.microsoft.com/download/f/d/0/fd05def7-68a1-4f71-8546-25c359cc0842/HoffmanUtilitySpotlight2009_04.exe

제가 여러가지 옵션을 사용해보지 않아서 자세한 사용방법은 생략하겠습니다. 다른거 다 필요없고 Thread 부분에만 신경써 주시면 되겠습니다. 저는 넉넉하게 Thread를 각각 20씩 적어서 돌렸습니다. 기본값 1,3,1로 하면 속도 향상은 거의 없을 것입니다. 이 프로그램의 최대 장점인 Thread를 잘 활용해 보세요. 무조건 숫자를 크게 적어봐야 의미가 없을 것 같고 숫자를 몇번 바꿔가면서 테스트를 해보시면 각자 환경에 맞는 최적의 값이 나오지 않을까 싶습니다.


그리고 원본이 손상되어 접근할 수 없는 경우 Retry 10번 해보고 안 되면 그냥 Skip 하기 때문에, 중간에 복사하다 멈출 일이 거의 없습니다. 게다가 Pause 버튼도 있어서 중간에 잠깐 멈춰놨다가 다시 작업을 진행할 수도 있구요.

아무튼 다수의 대용량 파일을 전송해야 하는 경우(SMB 전송도 가능) RichCopy를 활용해보세요. 저는 매우 만족하며 사용하고 있습니다.
신고
Share
  1. ㅎㄷㄷ
    2012.04.12 22:53 신고

    테사카피 쓰고있었는데 이 프로그램도 써봐야겠네요^^...감사합니다.

  2. BlogIcon Minty99
    2012.04.12 23:29 신고

    헉 2억개;;; ㅎㄷㄷ 11MB/s라도 10일 걸리겠네요...;;

  3. BlogIcon 무적전설
    2012.04.12 23:51 신고

    저도 이거 얼마전에 듣고 써 봤는데....
    만족하면서 사용 중 입니다.

    MVP 모임 가끔이라도 나오세요...
    지난번 오픈데이때도 안 오셨던데..

  4. BlogIcon Minty99
    2012.04.12 23:51 신고

    테스트 해보았습니다.
    68.2MB 9,631개 파일이 포함된 폴더로 테스트했습니다.
    RichCopy(스레드 20) : 1m 37s
    FastCopy : 39s
    저는 FastCopy가 훨씬 빠르네요.^^;;

    • BlogIcon snpbox
      2012.04.13 21:33 신고
      수정 및 삭제

      폴더 하나에 파일만 많아서는 별 효과가 없고, 폴더랑 파일이 엄청나게 많고 복잡한 트리구조인 경우에 효과가 확실한 것 같아요. ^^

  5. BlogIcon ArcoTT
    2012.04.13 00:38 신고

    오오오! 이거 정말 편하겠군요. 감사합니다!

  6. seaclub
    2012.04.13 00:51 신고

    ExtremeCopy과도 비교 해 보세요

    아닐걸요

  7. 지나가다
    2012.04.19 03:23 신고

    그러면 대용량 파일을 카피할땐 어떤가요?
    다수의 저용량 파일들(수십KB에서 수십메가 정도)+다수의 대용량 파일들(500메가~5기가 정도)
    이런 경우에도 속도가 잘나올지 궁금하네요

  8. 단골방문자
    2012.04.19 17:47 신고

    파일을 스레드로 옮겨도 하드 자체는 동시에 여러개 복사할 수 없으니..
    게다가 같은 하드내에서 옮기는 거면 더더욱
    성능 향상을 크게 못느끼는거 아닌가요?

  9. 실용주의
    2012.04.23 15:42 신고

    제가 알기로는 Windows 에 기본 탑재되어 있는 robocopy 도 thread 갯수와 실패 횟수 지정이 가능한 줄로 아는데요.. 더 큰 장점이 있을까요?

    • 고추장
      2012.05.05 06:07 신고
      수정 및 삭제

      실용주의님 댓글보고 찾아보니 richcopy는
      NT계 윈도우즈에 들어있던 robocopy 의 GUI 버전이더군요. 프론트엔드?

  10. 고양이의 노래
    2012.05.20 00:53 신고

    저도 비슷한 입장에서 한 적이 있는데요. 그 때는 fastcopy 사용했는데, SMB 환경에서인지 몰라도 다수의 파일을 복사하려니 계속 오류가 나서 재부팅 후 그 때마다 다른 경로를 바라보는 batch파일을 만들었습니다.(그 후 재부팅 하고 다른 경로 보도록)

    그 때는 사무실 이전 때문에 사용하고 짱박혀 두고 있다가 이제 백업을 다시 걸려고 하는데, 본문에 말씀하신 RichCopy를 함 써볼까 합니다. ㅎㅎ

    사용해 보고 제 블러그에 적어 볼까합니다

  11. 감자깡
    2012.06.04 16:41 신고

    스누피님~ 저는 지금 12기가짜리 폴더 100여개를 복사할 일이 생겼는데요..
    12기가 폴더에는 4KB에서 100KB 정도의 폴더가 20여만개 있거든요..
    말씀해주신대로 설정을 변경해 가면서 테스트를 해보았는데...
    설정값이 40/40/1 혹은 20/20/1 이렇게 해도 별반 차이가 없더군요!? @_@ 왜 그런지 궁금하던데
    각각의 설정값이 무슨 의미를 갖는건지...

    아참! 그리고 끝에 1로 놨던건 처음엔 20/20/20 했는데 속도가 엄청 안나오길래
    숫자를 변경하다보니... Filecopy가 1일때가 그나마 가장 빠르길래요...

    그리고 카피를 하다보면 전송속도가 5~6메가를 유지하다가 2메가 정도로 떨어지던데..
    원래 그러는게 맞는건지 궁금하네요.. @_@

    컴퓨터(i5,램4기가.1테라32메가7200하드)에서 USB 3.0// 2.5인치 짜리 외장형 하드로 카피할때였습니다.
    설정값은 15/15/1 줬을때 초반 6메가 정도 나오더니... 몇시간 돌리니깐 2메가정도로 떨어졌네요~

    참고하실분은 참고하셔요~~

  12. 흑양
    2012.06.17 13:23 신고

    쓰레드는 보통 컴퓨터에서 물리적인 CPU 개수 * 가상 CPU 개수정도로 생각하면 될거같아요(아마 맞스브나디)

    듀얼코어면 cpu가 2개고 가상 cpu 2개면
    2*2

    4로 지정하면 되겄네요. 가상 cpu가 맞는명칭인지 기억이 잘 안나요.

  13. 1
    2012.07.13 10:21 신고

    이거 라이센스나 시디키 있는거 아니죠? 개인회사 어디에서나 다 쓸수 있는 프리웨어 인가요?

  14. BlogIcon 5486kim
    2012.07.16 00:12 신고

    아... 난뭐지 테라카피 쓰는데
    4개의영화가 8분..... 이프로그램이 더 좋아보이네 근데
    한글판 없쇼???ㅋㅋㅋ 먼말인지 이해가 안가.ㅋㅋ

  15. BlogIcon 재테크왕
    2014.11.29 01:44 신고

    연합뉴스에서 개발한 멀티카피어~ 추천드립니다.
    연합뉴스도 기사파일이 보통 1~4Kb 하는데 1년이면 약 4천만건 쌓입니다.(전 세계가 공유하거든요)
    이걸 복사, 백업 이동 시키는데 단 몇분이면 해결되더군요..

    • mrGood
      2015.02.18 11:58 신고
      수정 및 삭제

      멀티카피어 어디서 구할수있는지 알수 있을가요?

  16. 복사지겨워
    2015.09.20 12:50 신고

    전 650G에 들어있는 아주 다양한 파일을 이기사를 보고 리치 카피로 밤 12시에 걸어놓고 다음날 12시경에 와보니 아직도 카피를 하고 있더군요. 문제가 있다판단하여 중단시켰는데 분명 버그가 있는게 분명합니다.
    각 폴더를 탐색하고 복사 대상을 판별하는데서 문제가 있는듯합니다. 윈도우즈7도 비슷한 버그가있어요
    죽긁어서 복사 했는데 생각보다 일찍 끝나 봤더니 절반정도만 복사가되고 끝났더군요. 에러도 없이요. 분명 대용량이 아닌 다수의 파일과 폴더 구조에서는 파일카피에 문제가 있는 것이라 판단을 하고있습니다.
    익스트림 카피를 돌리는 예상시간이 몇시간이내로 찍히네요.