데이터 확대 기술 비교
2020년 가을
Takumi Okoshi
데이터 사이언티스트
2023년부터 마켓에 출시되는 제품의 경우, 로고와 로고 위치 변경이 예정되어 있습니다. 이에 실제 제품은 사진 및 영상 속 이미지와 다를 수 있습니다.
Z by HP 데이터 사이언스 글로벌 앰배서더인 Takumi Okoshi의 콘텐츠는 HP 제품 지원을 통해 제작되었습니다.
안녕하세요. Kaggle의 그랜드 마스터, Takuoko입니다.
이번 게시물에서는 이미지 분류와 테스트용 데이터 확대 기술을 비교해 보려고 합니다. 데이터 확대는 CV 경연에서 빼놓을 수 없는 기술입니다.
저는 CV 경연에서 가장 표준적인 이미지 분류에 사용되는 기술을 비교했습니다.
Z by HP 데이터 사이언스 글로벌 앰배서더로서, 고급 HP 워크스테이션을 지원받았습니다.
#개발환경
앞서 언급한 것처럼 강력한 시스템을 통해 CV 경연을 펼치고 있습니다. V100을 사용하던 때에 비하면 지금은 언제든지 더 빠른 속도로 자유롭게 실행 가능한 시스템이 생겨 예전보다 진행할 수 있는 실험 횟수가 크게 늘었고, 다양한 논문의 비교 테스트도 할 수 있게 되었습니다.
PyTorch, CUDA와 같은 환경이 시스템에 미리 설치되어 있기 때문에 따로 환경을 구축할 필요가 없었습니다.
# 데이터 확대 기술의 이미지 비교
CIFAR-100의 두 이미지를 혼합해서 비교하려고 하는데, 일부 수치는 논문에서 인용했습니다.
## Mixup
[코드가 포함된 논문](https://paperswithcode.com/paper/mixup-beyond-empirical-risk-minimization)
두 이미지를 lam * img1 + (1 - lam) * img2로 혼합하는 기술입니다.
## Manifold Mixup
[코드가 포함된 논문](https://paperswithcode.com/paper/manifold-mixup-better-representations-by)
중간 레이어 혼합의 예입니다.
## CutMix
[코드가 포함된 논문](https://paperswithcode.com/paper/cutmix-regularization-strategy-to-train)
한 이미지를 특정 크기의 바운딩 박스로 잘라내어 다른 이미지에 붙여 넣는 기술입니다.
잘라낸 위치에 그대로 붙여 넣는 동위 붙여 넣기와 무작위로 붙여 넣는 임의 붙여 넣기라는 두 방법이 있습니다.
## PatchUp
[코드가 포함된 논문](https://paperswithcode.com/paper/patchup-a-regularization-technique-for)
중간 레이어에 CutMix를 적용하는 방법입니다.
## ResizeMix
[코드가 포함된 논문](https://paperswithcode.com/paper/resizemix-mixing-data-with-preserved-object)
한 이미지의 크기를 조정해서 다른 이미지에 붙여 넣는 기술입니다.
## fmix
[코드가 포함된 논문](https://paperswithcode.com/paper/understanding-and-enhancing-mixed-sample-data)
CutMix와 비교할 때 마스크는 모양에 상관없이 생성 및 혼합이 가능하며, 사각형일 필요가 없습니다.
## SnapMix
[코드가 포함된 논문](https://paperswithcode.com/paper/snapmix-semantically-proportional-mixing-for)
혼합 후 CAM을 통해 레이블의 가중치를 측정하여 배경 이미지 노이즈를 줄입니다. 논문에서 인용한 수치입니다.
## PuzzleMix
[코드가 포함된 논문](https://paperswithcode.com/paper/puzzle-mix-exploiting-saliency-and-local-1)
중요한 부분을 덮어써서 배경 노이즈를 줄입니다. 논문에서 인용한 수치입니다.
# 데이터 확대 기술의 비교 테스트
테스트 설정
데이터 세트：Kaggle의 [카사바 잎 질병 분류](https://www.kaggle.com/c/cassava-leaf-disease-classification)
모델：resnet34d
손실 함수：CrossEntropyLoss
옵티마이저：Adam+Lookahead
이미지 크기：256
배치 크기：64
에포크：20
결과
기법: 5fold CV
CutMix 임의 붙여 넣기: 0.8708
CutMix 동위 붙여 넣기: 0.8694
PatchUp: 0.8694
ManifoldMixup: 0.8692
ResizeMix: 0.8686
Cutmix 동위 붙여 넣기 + Mixup: 0.868
Fmix: 0.8675
PuzzleMix: 0.8662
Mixup: 0.8661
요약
ResizeMix 논문에서 언급한 바와 같이 CutMix의 경우 임의 붙여 넣기가 더 정확했습니다. 반면 ResizeMix는 CutMix보다 정확도가 떨어졌는데, 이는 논문과는 다른 결과입니다.
또한 Fmix 논문은 CutMix + Mixup과 Fmix + Mixup이 하나씩 사용하는 것보다 더 정확하다고 언급했지만, 복제가 불가능했습니다.
방법에 관해서는 의료 이미지처럼 전체 이미지 세트에서 위치가 고정된 이미지 세트의 경우 정확도가 낮아 임의 붙여 넣기와 ResizeMix를 적용하려면 신중한 고려가 필요하다는 결론을 내렸습니다. PuzzleMix, SnapMix와 같은 기술은 미묘한 차이가 중요한 작업에 보다 효과적일 수 있습니다.
앞으로의 계획
앞으로도 Z by HP 데이터 사이언스 글로벌 앰배서더를 대상으로 지원되는 시스템을 사용하여 CV 경연에서 다양한 논문의 방법을 비교 및 테스트할 계획입니다.
질문이 있으신가요?
세일즈 서포트에 문의하세요.
소셜 미디어에서 Z by HP 팔로우
제품 선택에 도움이 필요하신가요?
제품에 대한 지원이 필요하신가요?
고지 사항
제품은 표시된 이미지와 다를 수 있습니다.
제품 이미지는 단지 설명을 위한 것으로 나라별로 제품 가용성과 색상이 다를 수 있습니다.
본 문서에 포함된 정보는 예고 없이 변경될 수 있습니다. HP 제품 및 서비스에 대한 유일한 보증 사항은 해당 제품 및 서비스와 함께 제공되는 보증서에 명시되어 있습니다. 여기에 설명된 내용 중 어느 것도 추가적인 보증을 제공하지 않습니다. HP는 여기에 포함된 기술적, 편집상 오류나 누락에 대해 책임을 지지 않습니다.