当前位置:首页 > 编程笔记 > 正文
已解决

15 Transformer 框架概述

来自网友在路上 162862提问 提问时间:2023-10-22 11:22:12阅读次数: 62

最佳答案 问答题库628位专家为你答疑解惑

整体框架

img

机器翻译流程(Transformer)

通过机器翻译来做解释

给一个输入,给出一个输出(输出是输入的翻译的结果)

“我是一个学生” --》(通过 Transformer) I am a student

流程 1

img

编码器和解码器

编码器:把输入变成一个词向量(Self-Attetion)

解码器:得到编码器输出的词向量后,生成翻译的结果

流程 2

img

Nx 的意思是,编码器里面又有 N 个小编码器(默认 N=6)

通过 6 个编码器,对词向量一步又一步的强化(增强)

流程 3

img

说了这么多,了解 Transformer 就是了解 Transformer 里的小的编码器(Encoder)和小的解码器(Decoder)

FFN(Feed Forward):w2((w1x+b1))+b2

流程 4

img
查看全文

99%的人还看了

猜你感兴趣

版权申明

本文"15 Transformer 框架概述":http://eshow365.cn/6-21612-0.html 内容来自互联网,请自行判断内容的正确性。如有侵权请联系我们,立即删除!