当前位置:首页 > 编程笔记 > 正文
已解决

19 Transformer 解码器的两个为什么(为什么做掩码、为什么用编码器-解码器注意力)

来自网友在路上 168868提问 提问时间:2023-10-26 11:36:17阅读次数: 68

最佳答案 问答题库688位专家为你答疑解惑

博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看
配套 github 链接:https://github.com/nickchen121/Pre-training-language-model
配套博客链接:https://www.cnblogs.com/nickchen121/p/15105048.html

Transformer 的编码器和解码器

img

问题一:为什么 Decoder 需要做 Mask

机器翻译:源语句(我爱中国),目标语句(I love China)

为了解决训练阶段和测试阶段的 gap(不匹配)

训练

查看全文

99%的人还看了

猜你感兴趣

版权申明

本文"19 Transformer 解码器的两个为什么(为什么做掩码、为什么用编码器-解码器注意力)":http://eshow365.cn/6-25059-0.html 内容来自互联网,请自行判断内容的正确性。如有侵权请联系我们,立即删除!