自注意力，是一個模型。
基本介紹
- 中文名：自注意力
- 類型：模型
模型概覽
Self-Attention概覽（自注意力）
示例：The animal didn’t cross the street because it was too tired
當模型在處理 it 時，Self-Attention 機制使其能夠將 it 和 animal 關聯起來。
當模型處理每個詞（輸入序列中的每個位置）時，Self-Attention 機制使得模型不僅能夠關注當前位置的詞，而且能夠關注句子中其他位置的詞，從而可以更好地編碼這個詞。
如果熟悉循環神經網路 RNN，想想如何維護隱狀態，使 RNN 將已處理的先前詞/向量的表示與當前正在處理的詞/向量進行合併。Transformer 使用 Self-Attention 機制將其他詞的理解融入到當前詞中。
在編碼器 #5（堆疊中的頂部編碼器）中對單詞it進行編碼
