当前位置：网站首页>自注意力机制

自注意力机制

2022-08-06 21:21:00 【bolite】

内容来自于李宏毅2021/2022春机器学习课程p38~p39

自注意力机制

注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务，特别是机器翻译。
在这里插入图片描述
我们输入a1-a4，自注意力机制会根据当前的输入和其他三个输入的关联得到b1-b4
在这里插入图片描述
假设俩个输入直接的关系是α，那么α可以用下面的计算方法来表示（不止这一种方法）
在这里插入图片描述
将输入的a1与其他3个输入进行Dot-product计算得到对应的α，再将每个α进行Soft-max计算得到对应的α‘
在这里插入图片描述
我们将输入的a乘上矩阵Wv得到v矩阵，将v矩阵和α‘运算后相加得到b
在这里插入图片描述
以此类推可以得到每个输入对应的b

原网站

版权声明
本文为[bolite]所创，转载请带上原文链接，感谢
https://blog.csdn.net/bolite/article/details/126127234

边栏推荐

猜你喜欢

随机推荐