라벨이 [Attention]인 게시물 표시

[ML/DL Attention] argmax vs. softargmax 너무 대충 알고 있던 그것 | (ft. hardmax / softmax)

이미지
Transformer 그리고 Attention 메커니즘을 이해하기 위한 Score vector 만드는 방법 정리. 1. Hard-attention  (with argmax ) 2. Soft-attention   (with softargmax )