Transformer

in with 0 comment view 63 times
 graph LR;
transformer-->基本单元;
transformer-->框架示意图;
transformer-->翻译过程;
transformer-->实验;
transformer-->六种注意力机制;
click transformer "#menu_index_1"
click 基本单元 "#menu_index_2"
click 框架示意图 "#menu_index_3"
click 翻译过程 "#menu_index_4"
click 实验 "#menu_index_5"
click 六种注意力机制 "#menu_index_6"

transformer

基本单元

image.png

框架示意图

image.png

翻译过程

image.png

实验

https://colab.research.google.com/drive/1vlOJ1lhdujVjfH857hvYKIdKPTD9Kid8#scrollTo=TgxUaXEoGl9D

六种注意力机制

https://www.zhihu.com/question/298203515

  1. 注意下一个词 layer 2
  2. 注意前一个词 layer 6
  3. 注意相同或者相关的词 layer 2
  4. 注意其他句子中相同或者相关的词 layer 10
  5. 预测该词的其他单词 layer 2
  6. 注意力分隔符 layer 6
Responses