Pytorch로 Transformer 구현하기

소개

• Attention is all you need 라는 제목으로 엄청난 영향력을 끼쳤던 transformer 모델을 pytorch 를 사용하여 직접 구현하고 학습까지 진행해서 어떤 결과를 볼 수 있는지 확인해보았다.
• 원본 눈문 https://arxiv.org/pdf/1706.03762.pdf
• 코드 구현 깃허브 링크

GitHub - Hyunmok-Park/My_Torch_Transformer