트랜스포머1 트랜스포머 (Transformer) 이전에 업로드했던 글에서 어텐션(Attention)에 대해 살펴보았다. 어텐션은 neural machine translation에서 정보 손실 문제를 개선하여 긴 입력 시퀀스에서도 모델의 성능을 개선하는데 도움이 된 개념이다. 이번 글에선 어텐션 메커니즘에 기반한 트랜스포머에 대해서 정리해보고자 한다. https://wikidocs.net/31379와 http://jalammar.github.io/illustrated-transformer/를 정독하고 나름대로 이해한 내용을 정리하였다. 트랜스포머는 Attention is All You Need라는 논문을 통해 처음 발표되었다. 이 모델의 TensorFlow 구현은 Tensor2Tensor 패키지에서 확인할 수 있다. 트랜스포머는 어텐션을 학습하여 그를 .. 2022. 1. 25. 이전 1 다음