2023년부터 마켓에 출시되는 제품의 경우, 로고와 로고 위치 변경이 예정되어 있습니다. 이에 실제 제품은 사진 및 영상 속 이미지와 다를 수 있습니다.
Kaggle 경진 대회를 빛낸 HP Z8 G4 및 ZBook Studio
2021년 2월 1일
Qishen Ha
머신러닝 엔지니어
2023년부터 마켓에 출시되는 제품의 경우, 로고와 로고 위치 변경이 예정되어 있습니다. 이에 실제 제품은 사진 및 영상 속 이미지와 다를 수 있습니다.
Z by HP 데이터 사이언스 글로벌 앰배서더인 Qishen Ha의 콘텐츠는 HP 제품 지원을 통해 제작되었습니다.
안녕하세요, Qishen Ha입니다. 저는 현재 LINE Corp에서 머신러닝 엔지니어로 일하고 있으며, 세계 Kaggle 그랜드 마스터 11위에 올랐습니다. 이미지 분류, 시맨틱 세그멘테이션, 개체 감지와 같은 컴퓨터 비전 문제를 중점적으로 다루고 있습니다.
Z by HP 데이터 사이언스 글로벌 앰배서더로 선정되어 무척 영광입니다. 이런 기회를 주시고 HP Z8 G4 워크스테이션과 ZBook Studio를 제공해 주신 Z by HP에 정말 감사합니다. 덕분에 Kaggle 경진 대회에서 경쟁력이 높아졌어요.
지난달(2021년 1월)에 끝난 NFL 1차 및 미래 - 충격 감지 대회에서 HP Z8 G4 워크스테이션과 ZBook을 사용했고, 저희 팀은 3위로 대회를 마무리했습니다. 그리고 지금(2021년 2월), 저는 다른 Kaggle 경진 대회인 '카사바 잎 질병 분류'에서도 이를 모두 사용하고 있습니다. HP Z8 G4 워크스테이션과 ZBook Studio를 실제 Kaggle 경진 대회에서 사용한 소감을 지금부터 말씀드리고자 합니다.
구성 소개
먼저 Z by HP에서 지원한 HP Z8 G4 워크스테이션과 ZBook Studio의 구체적인 구성을 간략히 말씀드리겠습니다.
HP Z8 G4 워크스테이션:
- 듀얼 NVIDIA Quadro RTX 6000 GPU(2 x 24GB)
- 듀얼 인텔 제온 Gold 6254 CPU(2 x 18코어)
- 메모리 96GB
- 스토리지 2TB
ZBook Studio:
- NVIDIA Quadro RTX 5000 GPU(16GB)
- 인텔 코어 i9-10885H(8코어)
- 메모리 32GB
- 스토리지 2TB
제 주요 관심 분야는 컴퓨터 비전이어서 워크스테이션에서 가장 중요하게 생각하는 요소를 꼽자면 GPU 성능이고, 그다음이 CPU 성능입니다.
GPU 성능의 중요성은 따로 언급할 필요도 없지만, 사실 컴퓨터 비전 작업에서 CPU 성능의 필요성을 과소평가하는 분들이 있습니다. 일반적으로 컴퓨터 비전 작업에서 CPU는 여러 스레드에서 데이터를 읽고 사전 처리한 다음, 훈련을 위해 GPU에 넘겨주는 역할을 합니다. 이미지의 해상도가 크거나 증식 방법을 더 많이 사용하는 경우 CPU에 가해지는 부담이 커질 수 있습니다. 그리고 GPU가 모델을 훈련하는 속도보다 데이터를 읽고 전처리하는 CPU 속도가 느리면 CPU 성능이 전체 시스템에 병목 현상을 일으키게 됩니다. 제 생각에는 CPU 성능이 병목 현상을 초래하지 않도록 하려면 워크스테이션의 GPU당 최소 8개의 CPU 코어가 필요하다고 봅니다. GPU당 16개 이상의 CPU 코어가 탑재되면 더욱 바람직하겠지만요.
일반적으로 데이터의 기능 엔지니어링 중에 전체 데이터 세트를 메모리에 로드해야 하기 때문에 대량의 GPU 메모리는 순위를 다투는 경쟁에서 성패를 좌우합니다. 따라서 보통 대규모 순위 경쟁 대회에서 사용되는 워크스테이션에는 수백 GB의 메모리가 필요합니다. 하지만 컴퓨터 비전 분야에서는 메모리가 많이 필요하지 않으며, GPU당 약 24GB의 메모리만 있으면 대부분 충분합니다.
저는 노트북을 오랫동안 클라우드 인스턴스 등 서버에 연결하는 도구로만 사용해 왔습니다. 노트북 성능은 대개 크기, 무게와 관련되어 있어 성능이 우수한 노트북은 예외 없이 크고 무거워집니다. 그래서 가벼운 노트북으로 서버에 연결하고 서버에서 코드를 디버깅하고 모델을 훈련하는 게 대세였습니다.
그런데 ZBook Studio를 든 순간, 이렇게 얇고 가벼운 노트북이 이 정도의 성능을 발휘할 수 있다는 사실에 감탄했습니다. ZBook Studio에는 Quadro RTX 5000 GPU(16GB)가 탑재되어 있어서 서버나 워크스테이션에 연결할 때뿐만 아니라 딥 러닝 코드 자체를 디버깅하는 데도 사용할 수 있습니다.
HP Z8 G4 워크스테이션 및 ZBook Studio 활용법
간략히 말하면, HP Z8 G4 워크스테이션에 Jupyter Notebook을 설치하고 ZBook Studio를 통해 연결했습니다.
Jupyter Notebook은 브라우저를 통해 셀별로 코드를 쉽게 작성하고 디버깅할 수 있는 웹 애플리케이션인데, 아주 유명해서 머신러닝 엔지니어라면 대부분 이를 사용했거나 적어도 들어봤을 거라고 생각합니다. 저는 Z by HP와 파트너십을 맺기 전, 그러니까 작년에 캐글링할 때는 항상 Jupyter Notebook을 통해 클라우드 인스턴스에서 코드를 작성하고 모델을 훈련했습니다. 그래서 Z by HP를 통해 HP Z8 G4 워크스테이션을 받고 나서 제일 먼저 Jupyter Notebook으로 워크스테이션을 구성했습니다.
클라우드 인스턴스에서 Jupyter Notebook에 연결할 때는 공용 네트워크를 통해야 하지만, HP Z8 G4에 연결할 때는 LAN만 사용하면 됩니다. 가정에서 사용하는 워크스테이션의 분명한 장점 중 하나는 네트워크 환경에 의존하지 않고 대기 시간이 아주 짧다는 점입니다. vast.ai에서 인스턴스를 대여할 때는 제가 대여하는 인스턴스가 도대체 어디에 있는지 알 수 없습니다. 미국에 있을 수도, 중국이나 유럽, 심지어 북극에 있을 수도 있겠죠. 통상 일본에 있는 경우가 아니라면 Jupyter Notebook을 통해 연결할 때 상당한 지연이 발생합니다. 하지만 LAN을 통해 집에서 워크스테이션에 연결하면 노트북에서 Jupyter Notebook을 설치하는 것과 별반 차이가 없을뿐더러 대기 시간도 전혀 느껴지지 않습니다.
제가 워크스테이션을 바로 사용하지 않고 LAN으로 연결하는 이유는 아주 간단합니다. Ubuntu의 GUI가 GPU 메모리의 일부를 잡아먹기 때문이죠. 보통 300~500mb인데, 그리 많은 양은 아닙니다. 하지만 일단 GPU에서 모델을 훈련하기 시작하면 Ubuntu의 GUI가 너무 느려져 다른 작업을 제대로 할 수 없을 정도였습니다. 그래서 Ubuntu의 GUI를 끄고 노트북을 통해 워크스테이션을 연결했더니 모델 훈련 시 GUI 지연 문제를 해결할 수 있었을뿐더러 수백 MB의 GPU 메모리도 절약할 수 있었습니다.
이전 워크플로우에서는 대여한 클라우드 인스턴스의 모든 GPU가 완전히 로드된 경우 새로운 실험 코드를 디버깅할 방도가 없었습니다. 하지만 ZBook Studio는 16GB GPU를 탑재한 데다 무척 얇고 가벼워 이제 ZBook Studio를 사용하여 워크스테이션과 인스턴스의 GPU가 완전히 로드된 경우에도 새로운 실험 코드를 디버깅할 수 있게 되었습니다. 코드가 ZBook Studio에서 실행될 수 있으면 워크스테이션이나 인스턴스에 복사하고 현재 실험을 마치면 다음 실험을 신속하게 시작할 수 있습니다. 이렇게 하면 GPU 활용률이 효과적으로 향상됩니다.
물론 ZBook Studio에서 바로 모델을 훈련할 수도 있지만, 노트북은 열방출 성능이 떨어지고 과열된 상태로 장시간 작업하면 수명이 짧아질 수 있기 때문에 개인적으로 추천하지 않습니다.
NVIDIA Quadro RTX 6000의 속도
저는 Kaggle의 NFL과 카사바 대회에 참여하는 동안 NVIDIA Quadro RTX 6000 및 NVIDIA V100 GPU의 속도를 비교해 봤습니다. HP Z8 G4 워크스테이션의 NVIDIA Quadro RTX 6000 및 vast.ai의 V100으로 동일한 실험을 진행하며 비교했고, CNN 아키텍처로는 EfficientNet 및 EfficientDet을 사용했습니다. 바로 결론을 내리자면 NVIDIA Quadro RTX 6000은 V100보다 약 90%~100% 빨랐는데, CNN 아키텍처에 따라 약간의 차이가 있었습니다. 한 마디로, 저는 HP Z8 G4의 GPU 속도에 매우 만족합니다.
Z by HP Data Science 소프트웨어 스택 소개
사용자가 워크스테이션이나 ZBook을 보다 빨리 활용할 수 있도록 Z by HP 팀에서 사용자 대신 'Z by HP Data Science 소프트웨어 스택'이라는 소프트웨어 세트를 사전 설치해 줄 수 있습니다. CUDA, RAPIDS, Tensorflow, Pytorch, Docker는 물론 데이터 과학자가 흔히 사용하는 수십 개의 소프트웨어가 포함되며, 물론 사용자가 직접 설치할 수도 있습니다.
질문이 있으신가요?
세일즈 서포트에 문의하세요.
소셜 미디어에서 Z by HP 팔로우
제품 선택에 도움이 필요하신가요?
제품에 대한 지원이 필요하신가요?
고지 사항
제품은 표시된 이미지와 다를 수 있습니다.
제품 이미지는 단지 설명을 위한 것으로 나라별로 제품 가용성과 색상이 다를 수 있습니다.
본 문서에 포함된 정보는 예고 없이 변경될 수 있습니다. HP 제품 및 서비스에 대한 유일한 보증 사항은 해당 제품 및 서비스와 함께 제공되는 보증서에 명시되어 있습니다. 여기에 설명된 내용 중 어느 것도 추가적인 보증을 제공하지 않습니다. HP는 여기에 포함된 기술적, 편집상 오류나 누락에 대해 책임을 지지 않습니다.