Tag Archives: 분산 컴파일

Incredibuild 분산 컴파일

전에 Visual Studio에서 precompiled header 설정을 바꿔서 컴파일 시간을 대폭 줄인 글을 올렸었습니다. 그때 여러가지 컴파일 속도를 향상할수 있는 방법을 찾다가 발견한게 Incredibuild인데 평가판(30일)을 설치해서 회사에서 적용해 보았습니다.

최근 접한 프로그램 중에 개념도 신선하고, 구현도 아주 잘 된 소프트웨어네요.

Coordinator와 Agent로 설치할수 있는데, Coordinator는 빌드를 전체적으로 관리해주는 서버 프로그램으로 네트워크에 하나만 설치하면 되고, Agent는 Coordinator 서버에 연결해 있다가 작업을 할당 받아 처리하는 프로그램입니다. Agent를 많이 깔아주면 속도 향상이 그만큼 되죠.

신기한거는 Agent 설치하는 피씨에 개발툴이 없어도 된다는 겁니다. 컴파일러까지 전송해서 실행하는 방법으로, 처음 빌드를 요청한 컴퓨터의 빌드시스템을 그대로 받아서 실행하기 때문에 시스템간의 버전 차이, 헤더파일 차이 문제 때문에 빌드가 이상하게 되는거를 방지할수 있습니다. PC에 Agent만 설치하면 되기 때문에, 개발툴을 설치하지않고 쉽게 여러 컴퓨터에 설치할수 있는것도 큰 장점입니다.

또한, Visual Studio 6.0이 Multi CPU를 전혀 활용하지 않기 때문에 하나의 피씨에만 깔아도 속도 향상을 시킬수 있습니다.

아래는 coordinator 상황을 볼수 있는 모니터 프로그램입니다. 8개의 PC가 등록되어 있으며, 현재 온라인이 4개입니다. 요즘은 거의 Dual Core이기 때문에 CPU는 16개 입니다.

아래는 빌드했을때 모습입니다. 빌드는 Visual Studio안에 Incredibuild 메뉴에서 Rebuild로 할수 있습니다. 6개의 PC가 사용되었고, 사용한 CPU는 12개 입니다.

아주 비주얼하게 보여주기 때문에 눈도 즐겁죠^^ 설치하고 몇번을 rebuild all하면서 빌드 속도에 만족하고 있습니다. Visual Studio안에 창이 나타나며, 별도로 창을 띄워서 볼수도 있습니다. 원래 네모 상자안에 소스 파일명이 나왔지만 회사 보안상(?) 지웠습니다. 초록색이 이상없이 컴파일 된거고, 오류가 나면 빨간색, 경고가 있으면 노란색으로 표시됩니다. 하늘색은 초기에 종속성 분석과정과 링크 과정입니다. 위에 그래프는 여러가지 중에 선택해서 보여줄수 있도록 되어있는데, 파란색이 실제로 사용한 CPU 사용량(GHz 단위), 빨간색이 유효하게 사용한 CPU 사용량입니다. 차이가 나는 이유는 일을 시키고 늦게 처리되는거나 종속성 때문에 따로 돌릴수 있는 작업이 없을때는 중복적으로 일을 시키고 그중 빨리 처리되는 결과를 받아서 처리하기 때문입니다. 위 그래프 상에서 최대값이 27.5GHz입니다 ^^.

원래 5:21.9 초 걸리던 빌드 시간이, precompiled header 설정 오류를 고치고 1:32.8 초로 incredibuild를 도입하고 나서는 23.5 초로 줄었습니다. 원래보다 13.7배, precompiled header 설정 오류를 고치고 나서 기준으로 보면 3.9배 빨라졌습니다. 사용한 CPU에 비해서 아주 많이 빨라진건 아니지만 컴파일하고 기다리는 시간이 즐겁고 짧아졌네요.

하지만, 실제적으로 개발할때 rebuild all하지 않고 바뀐 부분만 컴파일하기 때문에 incredibuild 도입효과는 생각보다 크지 않습니다. 링크과정 자체는 분산해서 처리하기가 애매하기도 하고, 컴파일된 결과를 모두 받아와서 링크하는 과정을 거쳐야하기 때문에 그런거 같습니다. 그리고 Agent를 추가한다고 지속적으로 속도가 비례해서 증가하지 않습니다. 네트워크 Bandwidth의 영향도 있고, 소스간 종속성 때문에 분산해서 한꺼번에 처리할수 있는 일의 수가 어느정도 정해져 있기 때문입니다. 소스간 종속성을 줄이면 개선이 가능하겠지만, 중소규모의 소프트웨어 프로젝트에서는 도입 효과가 크지 않을거라 생각합니다. 단, 빌드 서버를 구축한다면 아주 좋은 방법이 될거 같네요. 그런데, 가격이 문제입니다! 카피당 $350.

30일간 평가판을 사용해볼수 있으니, 빌드시간이 문제가 된다면 한번 사용해보시기 바랍니다.
http://www.xoreax.com/download.htm