Z by HP로 열대성 폭풍의 풍속 예측
2021년 봄
Heng Cher Keng
알고리즘 엔지니어
2023년부터 마켓에 출시되는 제품의 경우, 로고와 로고 위치 변경이 예정되어 있습니다. 이에 실제 제품은 사진 및 영상 속 이미지와 다를 수 있습니다.
Z by HP 데이터 사이언스 글로벌 앰배서더인 Heng Cher Keng의 콘텐츠는 HP 제품 지원을 통해 제작되었습니다.
2021년, Kaggle, DataDriven, AiCrowd 등 25개의 데이터 사이언스 경연에 참가하자는 목표를 세웠던 저는 Z by HP 데이터 사이언스 글로벌 앰배서더로서, HP Z8 G4 데이터 사이언스 워크스테이션을 받아 대회에 참여할 영예를 안았습니다.
첫 번째 경연은 DrivenData의 Radiant Earth Foundation에서 주최하는 '변수에 따라 상이한 풍속: 열대성 폭풍의 풍속 예측'이었습니다.
모든 대회는 한 편의 이야기를 들려주는데, 이번 대회의 주제는 다음 글귀였습니다.
"숲 속에 두 갈래 길이 있었다. 나는 사람이 적게 간 길을 택하였다. 그리고 그것 때문에 모든 것이 달라졌다."
로버트 프로스트
미국 시인
이 블로그의 글은 다음과 같은 구조로 구성됩니다.
● 문제 및 해결 방법: 해결 중인 데이터 사이언스 문제와 제안한 해결책 요약
● HP Z8 G4 워크스테이션 사용 경험: 색다른 시도를 가능케 해 준 새로운 컴퓨팅 성능
그럼 이야기를 시작해 보죠!
문제 및 해결 방법
문제 설명:
열대성 사이클론은 세계적으로 가장 많은 비용을 초래하는 자연재해로 손꼽힙니다. 허리케인은 단 한 번만 발생해도 최대 1,000명의 사망자와 500억 달러의 피해를 입힐 수 있습니다. 이 대회는 열대성 폭풍의 최신 위성 이미지에서 최대 지속 지면 풍속(폭풍 강도)을 추정하는 모델을 구축하라는 과제를 냈습니다. 과거 이미지와 풍속 기록도 사용 가능한 경우 참조할 수 있습니다.
데이터:
지구 주위를 공전하는 GOES(정지 궤도상 환경 위성)에서 포착한 496개 폭풍의 단일 대역(10.3 마이크론) 위성 이미지가 제공됩니다. 각 폭풍은 336 x 336 픽셀의 이미지 20개에서 700개로 구성됩니다. 합해서 훈련 세트는 70,257개의 이미지로, 테스트 세트는 44,377개의 이미지로 이루어집니다.
해결책:
LSTM과 변압기 이미지 기반 회귀 모델을 조합한 해결책을 제시했습니다.
그림 1은 LSTM 인코더-디코더 모델의 구조를 보여 줍니다. 이미지넷 사전 훈련 resnet-18d는 입력 이미지를 512dim 임베딩으로 인코딩하는 데 사용됩니다. 다음으로 2계층 양방향 LSTM을 사용하여 과거 기록 이미지, 타임스탬프 및 풍속을 컨텍스트 벡터로 인코딩합니다. 마지막으로 예측 간격의 시퀀스 디코딩에 또 다른 2계층 LSTM이 사용됩니다. 인코더 컨텍스트 벡터가 주어지면 디코더는 현재 입력 이미지, 타임스탬프, 최종적으로 예측된 풍속을 바탕으로 현재 풍속을 예상합니다.
그림 1 LSTM 인코더-디코더 모델
그림 2는 변압기 인코더-디코더 모델의 구조를 보여 줍니다. 마찬가지로 resnet-18d는 입력 이미지를 인코딩하는 데 사용되며, 사인파 위치 인코딩은 타임스탬프에 사용됩니다. 2계층 MHA(멀티 헤드 닷-프로덕트 어텐션) 인코더는 기록을 일련의 '출력 가중 합계 값'으로 인코딩합니다.
또 다른 2계층 MHA 디코더는 현재 입력 이미지를 타임스탬프와 쿼리로, 인코더 출력을 키와 값으로 사용하여 풍속을 예측합니다.
삼각 마스크는 디코더에서 셀프 어텐션용으로 사용되는데, 디코더가 향후 이미지와 타임스탬프를 '속이고' 이에 액세스하지 못하도록 방지하기 위한 표준 작업 방식입니다.
LSTM과 달리 저는 미묘하지만 중요한 수정을 했는데, 이전에 예측된 풍속을 변압기 디코더에 사용하지 않습니다. 실험 결과 이를 통해 예측된 전파 오류가 줄어들었지만, 변압기의 예측이 보다 평탄치 않을 수 있다는 부작용도 함께 나타났습니다.
다행히도 LSTM과 변압기의 결과는 상호 보완적이며, 조합에 다양한 모델이 결합될 때 상당히 큰 개선을 이뤄냈습니다.
1. 먼저 단일 이미지만을 사용하여 기준 CNN 인코더를 훈련합니다.
2. CNN 인코더 작동을 멈추고 LSTM 또는 변압기를 학습 속도 0.001에서 0.0001까지만 훈련합니다. 여기에서 미리 보기 구현과 함께 RADAM 옵티마이저를 사용합니다.
3. 마지막으로 CNN 인코더를 재가동하고 학습 속도 0.0001로 엔드 투 엔드 훈련을 실시합니다.
이러한 작동 중지와 재가동 단계로 LSTM 및 변압기의 과적합을 방지할 수 있습니다.
마지막으로 그림 3은 입력 이미지와 과거 풍속 및 예측 결과의 예를 보여 줍니다.
질문이 있으신가요?
세일즈 서포트에 문의하세요.
소셜 미디어에서 Z by HP 팔로우
제품 선택에 도움이 필요하신가요?
제품에 대한 지원이 필요하신가요?
고지 사항
제품은 표시된 이미지와 다를 수 있습니다.
제품 이미지는 단지 설명을 위한 것으로 나라별로 제품 가용성과 색상이 다를 수 있습니다.
본 문서에 포함된 정보는 예고 없이 변경될 수 있습니다. HP 제품 및 서비스에 대한 유일한 보증 사항은 해당 제품 및 서비스와 함께 제공되는 보증서에 명시되어 있습니다. 여기에 설명된 내용 중 어느 것도 추가적인 보증을 제공하지 않습니다. HP는 여기에 포함된 기술적, 편집상 오류나 누락에 대해 책임을 지지 않습니다.