vit implementation1 [DNN] VIT(vision transformer) 리뷰 및 코드구현(CIFAR10) (ICLR2021) Introduction 안녕하세요 pulluper입니다. 👏 이번 포스팅에서는 NLP에서 강력한 성능으로 기준이 된 Transformer (Self-Attention)을 vision task에 적용하여 sota(state-of-the-art)의 성능을 달성한 ICLR2021에 발표된 vision transformer에 대한 리뷰 및 구현을 해보겠습니다. vision에 주로 사용되는 convolution 없이 transformer 만으로 당시 최고의 성능을 달성하였습니다. 약 2년이 지난(2022년 9월 기준) 시기에도 88.55%의 성능으로 26위를 하였고 상위권의 모델들은 대부분 self-attention을 많이 사용했습니다. 이 포스팅의 목표는 ViT의 이해를 통한 간단한 구현입니다. 자 그럼 시작해.. 2022. 9. 11. 이전 1 다음
