태양 표면 모니터링
NASA의 태양역학관측소,
Z by HP, NVIDIA 활용
2023년부터 마켓에 출시되는 제품의 경우, 로고와 로고 위치 변경이 예정되어 있습니다. 이에 실제 제품은 사진 및 영상 속 이미지와 다를 수 있습니다.
개요
NASA에서는 데이터가 전부라고 해도 과언이 아닙니다. 물체 감지에서 임무 수행에 이르기까지 데이터 수집과 신속한 통찰력은 임무 성공에 가장 중요합니다. 그리고 데이터 분석의 어려움은 단순히 데이터 크기가 아니라 데이터 유형 때문입니다. 그 데이터는 은하와 별, 태양계 전역의 행성 표면 이미지를 비롯해 말 그대로 이 세상 밖의 것입니다. NASA와 그 계약업체들이 데이터를 수집하고 분석하는 더 빠르고 안정적인 방법을 모색함에 따라 점점 더 인공지능(AI)에서 해답을 찾으려는 사례가 늘고 있습니다. ESG는 최근 NASA 과학자들을 만나 AI 작업과 Z by HP를 통해 어떻게 데이터 분석 방식을 혁신할 수 있었는지에 대해 이야기를 나눴습니다.
공유 장소
NASA와 AI
NASA에 주어진 임무나 프로젝트를 위해 수집되는 데이터의 양을 감안할 때 AI가 주요한 기술이라는 것은 놀랄 일이 아닙니다. AI는 오늘날 '사물'의 감지와 모델 개선을 위해 주로 사용됩니다. NASA에서 AI는 우주 영역을 모니터링하고 흥미로운 일이 방금 일어났거나 일어날 것인지 자동으로 감지하는 데 활용됩니다. 수집된 데이터와 물리적 프로세스를 설명하는 과학적 모델을 기반으로 AI는 광범위한 매개변수 탐색을 가능하게 함으로써 과학적 모델을 보다 강력하고 신뢰할 수 있게 만들 수 있습니다.
NASA는 임무 강화와 지원 업무에 수박 겉핥기식으로 AI를 사용하고 있을 뿐입니다. 태양 물리학과 파생 모델에 대한 인류의 이해를 정교화하기 위해 우주선에서 수집되는 데이터의 양은 하루에 수십, 수백 TB에 달할 정도로 방대합니다. 데이터의 크기와 수백 킬로미터 떨어진 우주선의 제한된 컴퓨팅 능력 때문에 이 모든 데이터를 분석하는 것은 불가능합니다. 그래서 NASA는 특정 유형의 원격 측정 데이터를 지구로 전송하는 데 우선 순위를 둘 수밖에 없으며 임무에 따라 전송 데이터가 다릅니다. 이는 인공위성, 로버, 비행기, 열기구 등 기내에서 AI를 활용해야 할 기회를 야기합니다.
태양의 대기 모니터링
ESG는 연구 천체물리학자인 Michael Kirk(ASTRA llc)와 NASA 고다드 우주비행센터의 태양 천문학자인 Raphael Attié(George Mason University)와 함께 AI를 이용하여 태양의 대기를 관찰하는 임무와 그들이 이 임무를 완수하는 데 의존하는 기술의 종류에 대해 논의했습니다. 그들 임무의 첫 번째 측면은 분류입니다. AI를 활용하여 태양의 국부적 플라즈마 운동을 매핑하여 자기 활동을 기반으로 영역을 분류하고 태양 플레어가 발생하기 쉬운 영역에 집중할 수 있습니다. 태양 플레어가 발산하는 상상할 수 없는 온도와 열이 반드시 지구나 지구 대기에 영향을 미치는 것은 아니지만 전자기 복사와 에너지 입자는 지구의 상층 대기로 흘러들어 변화를 일으켜 지구 궤도를 도는 GPS 위성의 신호 전송을 방해할 수 있습니다. 과학자들은 태양의 활성 자기 영역을 모니터링하는 것 외에도 태양의 플라즈마 흐름을 매핑하는 데 중점을 둡니다. 이를 위해 NSO(National Solar Observatory)의 과학자인 Benoit Tremblay와 협력하여 시뮬레이션 데이터에 대해 훈련된 심층 신경망을 사용하여 플라즈마 흐름과 자기장과의 관계를 이해합니다.
우리는 [데스크탑 워크스테이션으로] 초고성능 엔진을 가질 수 있음을 빨리 깨달았습니다. 그러나 도로에 전력을 공급할 전송 장치(최적화된 소프트웨어 스택)가 없다면 아무데도 가지 못할 것이기 때문에 그냥 포기하는 편이 낫다는 것을 알죠.
Michael Kirk
NASA 고다드, ASTRA llc의 연구 천체물리학자
워크플로우 및 과제
태양역학관측소는 1.3초마다 태양의 이미지를 찍어 데이터를 수집합니다. Kirk와 Attié는 기존 알고리즘의 용도를 변경하여 이미지에서 불량 픽셀과 같은 오류를 제거하고 매일 증가하는 리포지토리를 연구합니다. 이 작업의 규모를 이해할 수 있게 설명하자면, 총 1억 5천만 개 이상의 오류 파일과 1천억 개 이상의 개별 탐지를 포함하는 수십 페타바이트의 이미지를 양호한 픽셀과 불량 픽셀이 포함된 데이터로 정확하게 정렬하고, 레이블을 지정하며, 검증해야 합니다. 이 팀이 극복해야 하는 첫 번째 문제 중 하나는 데이터와 함께 배치된 컴퓨팅 성능의 부족입니다. 아카이브, 로컬에 있는 노트북이나 워크스테이션 또는 원격 컴퓨팅 클러스터 간에 데이터가 지속적으로 이동해야 하므로 점점 더 많은 데이터를 수집하고 분석함에 따라 지연이 불가피합니다.
수백 TB의 아카이브
클라우드 컴퓨팅과 네트워크의 한계로 인해 100TB 단위의 완전한 데이터 아카이브를 가져오는 것이 불가능했습니다. 필요한 데이터 이동량과 제한된 컴퓨팅 기능 사이에서 결과를 확인하는 데 최대 몇 년이 걸릴 것이었습니다. 또한 모니터링 임무와 태양 표면 분석을 위해 매일 1.5TB의 새로운 데이터가 수집되어 지연과 대기 시간을 용인할 수 없는 상황이 되었습니다. 데이터 이동 지연과 긴 처리 시간에 대응하기 위해 이 팀은 1TB 미만의 SATA 기반 스토리지, 32GB RAM, NVIDIA 1080 TI GPU 1개를 갖춘 일반 GPU 컴퓨팅용으로 설계된 데스크탑 워크스테이션을 활용하려고 했습니다. 그러나 데이터세트의 크기 때문에 Kirk와 Attié는 USB를 통해 외부 스토리지를 활용해야 했고, 이로 인해 상당한 I/O 제한이 발생했습니다. 클라우드 컴퓨팅 클러스터를 활용하는 것은 스토리지와 컴퓨팅이 풍부하므로 자연스러운 해결책으로 보였지만 클라우드는 보안 프로토콜 탐색이라는 새로운 과제를 제시했습니다.
보안
NASA의 보안은 더욱 엄격해지고 있습니다. 데이터세트는 공개되어 있지만 액세스, 이동, 컴퓨팅 소비량과 관련된 보안 계층은 때때로 데이터 사이언스 공간에 신기술을 채택하는 데 방해 요소로 작용할 수 있습니다. 그리고 일부 새로운 기술과 소프트웨어 스택은 특히 클라우드 환경에서 매력적이지만 보안 프로세스로 인해 Kirk와 Attié는 온프레미스 AI 워크스테이션을 재평가해야 했습니다.
신뢰성 및 지원
사전 훈련을 통해 일반 이미지에서 물체를 감지하는 데 사용되는 신경망은 이 팀의 태양 이미지에는 작동하지 않습니다. 이들이 분석해야 하는 이미지는 하루에 1.5TB입니다. NASA 이미지는 JPG, TIFF 이미지 파일과 같은 표준적인 이미지 파일과 달리 FITS라는 과학적 파일 형식으로 저장됩니다. IT 부서에 도움을 요청하는 것이 당연해 보이지만 NASA의 IT 팀은 정기적인 업무로 분주한 까닭에 끊임없이 문제를 해결하고 테스트하고 구현할 시간이 없습니다. 연구팀의 소프트웨어 스택과 데이터 사이언스 워크플로우는 Python으로 구성되어 TensorFlow, Dask, CuPy, 그 외 기타 앱을 사용하여 대용량 데이터를 처리합니다. 구체적으로 통계 탐색을 위한 Pandas, RAPIDS, CuDF 그리고 다양한 2D 및 3D 시각화 도구를 사용합니다. 1년 넘게 기존 시스템과 싸우고 IT 부서와 협력하여 요구 사항을 지원하는 올바른 드라이버를 설치한 후 이들은 워크스테이션 활용 아이디어를 폐기하고 클라우드 운영 모델로 돌아갈 수밖에 없었습니다.
새 AI 워크스테이션 요구 사항
이전 워크스테이션은 단일 데이터세트에 적절한 양의 스토리지 또는 속도를 제공할 수 없었고 아카이브, 장치, 컴퓨팅 클러스터 간의 데이터 이동이 지연되어 결과를 확인하는 데 1년 이상이 걸렸기 때문에 NASA가 각자의 필요를 충족하고 임무 목표를 더 잘 지원할 수 있는 대안을 찾는 것이 논리적이었습니다. 소프트웨어 스택과 맞춤형 워크플로우를 지원하고 보안 규정 준수를 유지하며 데이터 이동을 최소화하고 적절한 수준의 성능을 제공할 수 있는 강력한 온프레미스 시스템이 필요했습니다. 기본 스토리지 및 컴퓨팅 성능 외에도 병렬 처리가 중요했기 때문에 가용 GPU 용량을 더 잘 활용할 수 있을 뿐만 아니라 추가 CPU 코어도 작동하도록 했습니다. 그리고 마지막 경험을 바탕으로 연구원과 IT 팀 모두 자신들이 선택한 공급업체에서 기존 NASA 컴퓨팅 요구 사항에 대한 더 나은 지원을 원했습니다.
NASA의 요구사항을
해결한
HP Z8 워크스테이션
HP는 강력한 NVIDIA GPU와 가용 CPU를 사용하여 소프트웨어 요구 사항과 데이터 사이언스 워크플로우를 충족할 수 있는 완전한 Z8 워크스테이션을 제공했습니다. 데스크탑 크기의 타워에서 NASA는 고속 NVMe 디스크와 엔터프라이즈급 회전 디스크를 혼합하여 수십 TB의 데이터를 저장할 수 있는 고밀도 스토리지 시스템을 확보했으며, 2개의 NVIDIA Quadro RTX 8000 GPU와 데이터 준비 및 데이터 상호 작용에 사용되는 2개의 제온 CPU를 통해 수천 개의 NVIDIA GPU 코어를 사용할 수 있게 되었습니다. 그리고 대부분의 경우 모든 것이 제대로 작동했습니다.
접근성
태양 표면을 탐사하는 NASA 연구원들에게 Z by HP는 데이터에 더 쉽게 접근하는 방법을 제공했습니다. 더 빠를 뿐만 아니라 일관성도 더 뛰어났습니다.
"대규모 조직에서는 네트워크의 속도를 예측할 수 없는 경우가 많습니다. 때로는 10MB/s로, 때로는 1MB/s로, 때로는 그 이하의 속도로 액세스했습니다. 이제 필요한 수십 TB의 데이터를 로컬에 저장할 수 있고 전체를 살펴봐야 하는 통계 분석에 한 번에 사용할 수 있게 되었습니다. CPU 기반 또는 GPU 기반 병렬 처리를 활용하여 클라우드 기반 솔루션의 월별 비용 걱정 없이 이를 수행할 수 있습니다. 다운로드하는 데 오랜 시간이 걸리고 때때로 우리가 사용하는 원격 데이터 아카이브에서 영구적으로 사용할 수도 없는 데이터를 제거하느라 걱정하지 않아도 되기 때문에 이것은 훨씬 스트레스가 적은 워크플로우입니다.”
Raphael Attié
NASA 고다드의 태양 천문학자
상호 작용
Z8 워크스테이션에서는 데이터가 로컬에 있기 때문에 더 쉽게 접근할 수 있었습니다. 또한 데이터에 더 쉽게 접근할 수 있기 때문에 데이터와의 상호 작용이 쉬워졌습니다. 이전에 데이터를 이동하고처리하며 재이동하고 상호 작용하는 데 며칠이 걸렸던 것이 이제는 당연하게 여겨집니다. 처리와 분석, 상호 작용을 위해 서로 다른 시스템을 활용하는 대신 과학자 팀은 Z8 시스템을 활용하여 모든 작업을 수행할 수 있었고 결과를 얻기까지의 시간을 단축할 수 있었습니다. 이전에는 1년 또는 그 이상이 걸릴 것으로 예상되었던 일을 이제 일주일 이내에 완료할 수 있습니다.
“[원격 컴퓨팅 클러스터는] 시각적으로 상호 작용하는 시스템이 아니기 때문에 처리된 부분 집합과 상호 작용하기 위해 중간 결과를 로컬로 다운로드해야 했는데 이로 인해 원활한 작업 흐름에 걸림돌이 되었습니다. 이제 하나의 파이프라인에 컴퓨팅과 시각화를 모두 포함할 수 있습니다. 덕분에 과학에 대한 직접적인 접근이 가능해졌습니다.”
Raphael Attié
NASA 고다드의 태양 천문학자
성능
이전에 12TB의 데이터 청크를 이동하는 데 어려움을 겪었던 점을 감안할 때 이들은 모든 통계 분석의 핵심이 성능이라는 것을 알고 있었습니다. 당시에는 데이터를 다운로드하는 데 몇 주가 걸렸고 외부에 저장되었기 때문에 컴퓨팅 성능이 병렬 처리(CPU 또는 GPU)를 활용할 수 없었습니다. HP Z8 워크스테이션을 사용한 이후에는 가장 극단적인 사례로 순수 컴퓨팅 처리에만 몇 개월이 걸렸을 작업이 일주일 만에 완료할 수 있는 작업으로 바뀌었습니다.
“[HP Z8 워크스테이션을 사용하는] 일반적인 이점은 원격 컴퓨터 클러스터를 사용하던 이전 워크플로우에 비해 속도가 약 10배 빨라졌다는 것입니다. [원격] 컴퓨터 클러스터에서는 1시간이 걸리고 노트북에서는 상상도 할 수 없었던 신경망 훈련이 이제는 단 7분 만에 완료됩니다.”
Raphael Attié
NASA 고다드의 태양 천문학자
이 팀은 CPU 클러스터의 컴퓨팅 결과를 NVIDIA Quadro RTX 8000과 비교할 때 성능 향상을 보여주는 매우 구체적인 예를 하나 목격했습니다. 약 1억 3천만 개의 파일 각각이 태양역학관측소(SDO)의 카메라에 충돌하는 수천 개의 에너지 입자 좌표를 포함하고 있어 각 파일을 분석하는 데 약 3초가 소요되었습니다. 원격 컴퓨팅 클러스터에서 일반적으로 사용되는 50개 이상의 코어를 선형으로 외삽하면 전체 데이터세트를 완전히 분석하는 데 90일이 소요됩니다. 그러나 NVIDIA Quadro RTX 8000을 사용하면 각 파일을 20ms 만에 분석할 수 있습니다. 이는 150배 개선된 것으로 판명되었으며 전체 데이터세트를 계산하는 시간이 90일에서 1.5시간으로 단축되었습니다.
유연성
어떤 문제는 CPU나 GPU로 더 잘 해결된다는 점을 새로운 Z by HP 워크스테이션은 이해하고 있었습니다. 이를 통해 Kirk와 Attié는 여러 컴퓨팅 환경에서 동일한 방식으로 소프트웨어와 워크플로우를 신속하게 프로토타이핑할 수 있었습니다.
“다양한 워크플로우를 시도하는 것은 매우 유익합니다. 클라우드 환경에서는 이러한 유연성이 없습니다. 이제 우리는 대형 샌드박스에서 동시에 프로토타입을 만들 수 있으므로 아이디어에서 프로토타입으로 훨씬 빠르게 전환할 수 있습니다.”
Raphael Attié
NASA 고다드의 태양 천문학자
지원
컴퓨터 기술의 문제를 해결하는 것은 과학자의 일이 아닙니다. 따라서 Kirk와 Attié는 문제가 발생하면 신속하게 수정할 수 있다는 보장이 필요했습니다. 구성 요소를 업그레이드하든 드라이버를 업데이트하든 Z by HP의 기술 지원은 거의 즉각적이었습니다.
“[Z by HP 지원에] 크게 의존할 필요는 없었지만 작업을 시작하기에는 내부 HDD의 크기가 아쉬웠기 때문에 바로 지원을 받았습니다. 새 내장 드라이브를 설치하는 것이 항상 쉬운 것은 아니거든요. 새 드라이브는 신속하게 배송되었습니다. 새 드라이브를 간단히 연결하고 사용해 보니 바로 작동했지요.”
Michael Kirk
NASA Goddard의 연구 천체 물리학자
보안
컴퓨팅 작업에 클라우드를 활용할 필요가 없기 때문에 더 이상 클라우드로 이동하는 데이터와 클라우드에서 사용 중인 소프트웨어에 따른 IT 보안 지연을 처리할 필요가 없었습니다. 대신 온프레미스에서 효과적인 보안 태세를 유지해야 하지만 HP 시스템은 가장 효과적으로 필요한 작업을 수행하는 방향으로 소프트웨어를 더 자유롭게 사용할 수 있게 해주었습니다.
"계속 쌓이는 보안 계층은 이 산업의 채택에 걸림돌입니다. 각기 많게는 수 TB에 달하는 빅데이터셋을 처리하기 위해 더 빠르고 더 편리한 수단을 찾아야 하는 원래의 목적을 무산시키기 때문입니다. 이제 TB 크기의 데이터셋을 로컬로 계산할 때 대규모 조직의 IT 보안 병목 현상으로 인해 추진력이 꺾이지 않습니다.”
Raphael Attié
NASA 고다드의 태양 천문학자
더 큰 진실
데이터세트가 계속 증가하고 데이터 이동이 결과의 적시성을 더욱 제한함에 따라 태양의 표면을 연구하는 NASA 고다드 우주비행센터의 과학자들은 난관에 봉착했습니다. 그들은 클라우드 컴퓨팅 클러스터를 활용하는 데 소요되는 시간을 인정하고 시스템 안팎으로 데이터를 이동하는 데 있어 지속적인 지연을 처리하거나 대안을 모색할 수도 있었습니다. 그러나 Z by HP 워크스테이션은 증가하는 데이터세트에 대해 더욱 협력적으로 보다 우수하고 빠른 대화형 데이터 분석을 가능하게 하는 강력한 기술 기반을 제공하는 솔루션임이 입증되었습니다. NASA가 다른 세계의 데이터를 분석하는 방식을 혁신하기 위해 AI에 계속 의존하고 있는 가운데, NVIDIA GPU가 탑재된 HP의 Z8 워크스테이션이 계속해서 뉴 프런티어 탐색에 필요한 성능과 유연성, 안정성을 제공할 것이라는 점은 분명합니다.
하드웨어 및 소프트웨어
Z by HP
시스템 구성
이 사례 연구 인터뷰에 응한 NASA 연구원이 사용하는 Z by HP 시스템의 구성:
하드웨어:
• HP Z8 G4
• 듀얼 NVIDIA® RTX 8000 그래픽
• 384GB(32GB 12개) DDR4 2933 ECC 등록 메모리
• 듀얼 인텔® 제온® 6240 2.60GHz 18C CPU
• HP Z 터보 드라이브 M.2 1TB TLC SSD
• 4TB 7200 SATA 엔터프라이즈 3.5인치 2개
• 프리미엄 전면 I/O(USB3.1 Type C 2개, USB3 Type A 2개)
소프트웨어:
• Ubuntu Linux® 18.04
• Python 3.6(TensorFlow, NumPy, 기타 과학 컴퓨팅 패키지)
Enterprise Strategy Group
글로벌 IT 커뮤니티에 시장 인텔리전스와 실행 가능한 인사이트를 제공하는 IT 분석, 연구, 검증, 전략 회사입니다.
멋진 비즈니스 솔루션을 만들 수 있도록 HP가 도와드리겠습니다.
관련 글
• 사례 연구
Windows와 Ubuntu의 장점을 모두 경험하기
Z 워크스테이션에 사전 설치된 Windows Subsystem for Linux 2가 최고의 데이터 사이언스 워크플로우를 제공하는 방법을 알아보세요.
• 트렌드 기사
모두를 위한 AI: 서비스형 머신러닝
새로운 구독 범주로 부상한 머신러닝과 AI 도구는 액세스를 대중화하고 비용을 절감하며 데이터 사이언스를 혁신하도록 설계되었습니다.
• 트렌드 기사
Z by HP Data Science 워크스테이션 및 소프트웨어
HP의 고성능 워크스테이션에는 데이터 사이언스 워크플로우를 가속화하는 업계 최고의 하드웨어 및 소프트웨어가 포함되어 있습니다.
제품 살펴보기
Z by HP Data Science
워크스테이션은
NVIDIA RTX™ 그래픽으로 구동됩니다.
질문이 있으신가요?
세일즈 서포트에 문의하세요.
소셜 미디어에서 Z by HP 팔로우
제품 선택에 도움이 필요하신가요?
제품에 대한 지원이 필요하신가요?
고지 사항
제품은 표시된 이미지와 다를 수 있습니다.제품 이미지는 단지 설명을 위한 것으로 나라별로 제품 가용성과 색상이 다를 수 있습니다.
여기에 포함된 정보는 사전 통지 없이 변경될 수 있습니다. HP 제품 및 서비스에 대한 유일한 보증 사항은 해당 제품 및 서비스와 함께 제공되는 보증서에 명시되어 있습니다. 여기에 설명된 내용 중 어느 것도 추가적인 보증을 제공하지 않습니다. HP는 여기에 포함된 기술적, 편집상 오류나 누락에 대해 책임을 지지 않습니다.
인텔, 인텔 로고, 코어, 제온은 미국 및 기타 국가에서 인텔 또는 그 자회사의 상표 또는 등록 상표입니다. Microsoft 및 Windows는 미국 및/또는 기타 국가에서 Microsoft Corporation의 상표 또는 등록 상표입니다. NVIDIA, NVIDIA 로고, NVIDIA NGC, NVIDIA Omniverse, NVIDIA RAPIDS, NVIDIA RTX는 미국 및 기타 국가에서 NVIDIA Corporation의 상표 및/또는 등록 상표입니다. Linux®는 미국 및 기타 국가에서 Linus Torvalds의 등록 상표입니다. AMD는 Advanced Micro Devices Inc의 상표입니다.
4AA7-9682KOP, 2021년 1월