노트북 데스크탑 모니터

견적 및 전화 요청

지원

Z by HP 데이터 사이언스 솔루션의 첫인상 

2020년 가을
중국 Yuanhao Wu

수석 알고리즘 엔지니어

2023년부터 마켓에 출시되는 제품의 경우, 로고와 로고 위치 변경이 예정되어 있습니다. 이에 실제 제품은 사진 및 영상 속 이미지와 다를 수 있습니다.

Z by HP 데이터 사이언스 글로벌 앰배서더인 Yuanhao Wu의 콘텐츠는 HP 제품 지원을 통해 제작되었습니다.

 

안녕하세요, Yuanhao입니다. 제 첫 번째 블로그 글이네요. 먼저 제 소개를 간단히 하고, AI를 다루어 온 이야기와 최근에 HP와의 파트너십으로 지원받은 NVIDIA GPU 탑재 Z by HP 워크스테이션으로 한 경험을 말씀드리고자 합니다.

 

저는 중국 상하이에 살고 있으며, NLP 엔지니어로 일하고 있습니다. 지난 몇 년 동안 활동적인 캐글러로 활약하면서, Kaggle 경진 대회에 20회 넘게 참가했고 여러 개의 금메달을 목에 걸었습니다. 2019년에는 Kaggle 경진 대회 그랜드 마스터가 되었고, 전 세계 Kaggle 랭킹 36위에 오르기도 했습니다.

 

2016년, 인공 신경망을 진지하게 배우려고 마음먹었던 때가 아직도 생생하게 기억납니다. Geoffrey Hinton이 강의했던 유명한 '머신러닝을 위한 신경망' 과정을 수강했는데, 당시 저는 GPU를 사용하지 못했고, CPU만으로 모든 과제를 겨우 마치곤 했습니다.

 

2017년에 대학을 졸업하고 취직한 직장에서 마침내 전용 GPU 리소스를 사용할 수 있게 되었습니다. NVIDIA Quadro P4000 GPU를 탑재한 HP Z4 워크스테이션이었는데, 이 기술 덕분에 고급 모델을 찾기 시작했고, 그러다 Kaggle 경진 대회에 참가하게 되었습니다. 장담컨대 Z4 워크스테이션은 제 삶에서 무척 중요한 출발선이었습니다.

 

2019년에는 Kaggle 경진 대회에서 더 나은 경쟁을 펼칠 수 있도록 인텔 i7 CPU, 32GB RAM, NVIDIA 2080Ti GPU로 자체 데스크톱을 제작했습니다. 11GB VRAM을 통해 당시 BERT-base 및 BERT-large와 같은 대부분의 모델을 훈련할 수 있었습니다. 데스크톱은 냉각만 빼면 문제없이 작동했습니다. 아주 작은 MATX 케이스를 장착했는데, 열방출 성능이 썩 좋지 않았어요. 게다가 GPU는 게임용이었고 일반 오픈 에어 쿨러를 사용했습니다. 오픈 에어 쿨러가 뜨거운 공기를 케이스 안으로 바로 배출해서 훈련 시 유리로 된 케이스 측면 패널에 열감이 느껴졌고, 종국에는 GPU 온도가 온도 상한선보다 낮은지 확인하려고 케이스를 열어야 했습니다.

 

아래 사진은 제가 사용했던 DIY 데스크톱인데, 항상 이렇게 측면 패널을 열어 두었어요.

최근 몇 년 동안 변압기 모델은 점차 크기가 커지며 큰 발전을 이루었습니다. 1750억 개의 매개 변수로 구성된 GPT-3 모델에 대한 기사를 많이 접하셨을 텐데, 프로덕션과 Kaggle 경진 대회에서 이렇게 거대한 모델은 거의 사용하지 않지만, 대회에서 좋은 성적을 거두려면 이제 더 큰 모델이 필요합니다. 직소 다국어 악성 댓글 분류 대회에서 우승자들은 모두 100개 이상의 언어를 처리할 수 있는 XLM-Roberta-Large라는 이름의 모델을 사용했습니다. 이 모델은 광범위한 단어 저장량과 큰 임베딩 레이어를 갖추었는데, XLM-Roberta-large의 단어 크기는 250,002인 반면, Roberta의 경우 50,265에 불과합니다. 제 2080Ti GPU로는 VRAM에 한계가 있어 모델을 훈련하기가 어려웠습니다.

 

이 업계 종사자들은 모델을 훈련하는 데 훨씬 강력한 머신을 사용합니다. 가령, 이전 회사에는 DGX-1 서버가 여러 개 있었는데 모든 DGX-1 서버에는 32GB VRAM을 지원하는 NVIDIAV100 GPU가 8개 있었습니다. VRAM이 이렇게 크면 거의 모든 모델을 로드할 수 있지만, V100 GPU의 가격은 일반인이 감당할 수 있는 수준을 아득히 넘어섭니다.

 

하지만 이제 VRAM을 걱정할 필요가 없어졌습니다. 2020년에 Z by HP 데이터 사이언스 글로벌 앰배서더로 선정되면서 얼마 전부터 최신형 HP Z4 워크스테이션과 ZBook Studio를 지원받아 사용할 수 있게 되었으니까요. Z by HP 워크스테이션이 제 삶에 다시 돌아오다니, 감동적이었죠! 

 

i9 10980XE, 128GB RAM, 24GB VRAM 탑재 RTX 6000 GPU 2개, 2T SSD+6T HDD로 구성된 워크스테이션은 무척 강력하고 균형 잡힌 성능을 제공합니다. 중소규모 AI 애플리케이션에는 RTX 6000 GPU가 최선이라고 생각하는데, 앞서 언급한 XLM-Roberta처럼 대형 모델을 사용하고 싶을 때 24GB VRAM이 유용한 데다 V100보다 가격도 훨씬 합리적이기 때문입니다. 

 

한마디로 아주 잘 만들어졌습니다! 스위치로 측면 패널을 쉽게 열 수 있는데, 케이스를 열면 머신이 얼마나 컴팩트하고 근사한지 한눈에 알 수 있습니다. 냉각 시스템도 무척 효율적이어서 2개의 GPU가 최대 부하로 실행되는 상황에서도 온도와 소음이 효과적으로 제어됩니다.

 

아래 이미지가 HP Z4 워크스테이션인데, 아주 컴팩트하고 냉각 시스템이 정말 훌륭합니다.

ZBook Studio는 아주 색다른 개발 경험을 선사합니다. 편리한 GPU를 사용할 수 없는 상황에서 딥 러닝 모델을 구현하거나 디버깅해야 하면 정말 곤란해지는데, 사실 이 경우는 GPU 리소스가 클라우드에 있고 직원에게 GPU를 탑재하지 않은 노트북만 제공하는 기업에서 아주 흔합니다. 하지만 RTX 5000 GPU 덕분에 어디에서나 ZBook Studio로 간편하게 NN 모델을 설계하고 디버깅할 수 있게 되었죠. 두 귀를 의심하게 만들지만, 노트북에는 16GB VRAM이 장착되어 있습니다. 제가 전에 사용하던 2080Ti 데스크톱보다 고성능이죠!

 

하드웨어는 물론이고 사전 설치된 소프트웨어도 놀랍습니다. HP에서 사용자가 제품을 최대한 활용할 수 있도록 정말 공을 들였어요. 이전 DIY 머신에 개발 환경을 구축하는 데 정말 오랜 시간이 걸렸는데, 이제 사전 설치되어 있는 Data Science 소프트웨어 스택에 GPU 드라이버, CUDA, 개발자 도구, 자주 사용되는 라이브러리처럼 필요한 거의 모든 요소가 포함되어 있습니다. 이 말인즉, 머신을 받는 즉시 작업을 시작할 수 있다는 거죠. HP는 또한 머신의 생산성을 개선하는 많은 유용한 도구를 제공하는데, 이들 중 일부는 Z 시리즈에서만 지원됩니다.

 

마지막 Kaggle 경진 대회에 참여한 후로 꽤 시간이 흘렀는데, 올해는 강력한 Z by HP 워크스테이션, ZBook Studio와 함께 다양한 커뮤니티에서 더 자주 시간을 보낼 계획입니다. Kaggle, NLP, AI에 대한 콘텐츠도 더 많이 선보일 예정이에요. 최근에는 RANZCR CLiP - 카테터 및 라인 위치 과제 대회 작업에 착수했는데, 워크스테이션의 훈련 속도에 매우 만족하고 있습니다. 진행 과정을 계속 알려드리겠습니다.

질문이 있으신가요?
세일즈 서포트에 문의하세요. 

소셜 미디어에서 Z by HP 팔로우

Instagram

X

YouTube

LinkedIn

Facebook

제품 선택에 도움이 필요하신가요?

전화 요청

제품에 대한 지원이 필요하신가요?

지원 페이지로 이동

고지 사항

  1. 제품은 표시된 이미지와 다를 수 있습니다.

     

    제품 이미지는 단지 설명을 위한 것으로 나라별로 제품 가용성과 색상이 다를 수 있습니다.

     

    본 문서에 포함된 정보는 예고 없이 변경될 수 있습니다. HP 제품 및 서비스에 대한 유일한 보증 사항은 해당 제품 및 서비스와 함께 제공되는 보증서에 명시되어 있습니다. 여기에 설명된 내용 중 어느 것도 추가적인 보증을 제공하지 않습니다. HP는 여기에 포함된 기술적, 편집상 오류나 누락에 대해 책임을 지지 않습니다.