已解决
15 Transformer 框架概述
来自网友在路上 162862提问 提问时间:2023-10-22 11:22:12阅读次数: 62
最佳答案 问答题库628位专家为你答疑解惑
整体框架

机器翻译流程(Transformer)
通过机器翻译来做解释
给一个输入,给出一个输出(输出是输入的翻译的结果)
“我是一个学生” --》(通过 Transformer) I am a student
流程 1
编码器和解码器
编码器:把输入变成一个词向量(Self-Attetion)
解码器:得到编码器输出的词向量后,生成翻译的结果
流程 2

Nx 的意思是,编码器里面又有 N 个小编码器(默认 N=6)
通过 6 个编码器,对词向量一步又一步的强化(增强)
流程 3

说了这么多,了解 Transformer 就是了解 Transformer 里的小的编码器(Encoder)和小的解码器(Decoder)
FFN(Feed Forward):w2((w1x+b1))+b2
流程 4

查看全文
99%的人还看了
相似问题
- 探索NLP中的核心架构:编码器与解码器的区别
- 在 CelebA 数据集上训练的 PyTorch 中的基本变分自动编码器
- 19 Transformer 解码器的两个为什么(为什么做掩码、为什么用编码器-解码器注意力)
- 《动手学深度学习 Pytorch版》 9.6 编码器-解码器架构
- 读书笔记:多Transformer的双向编码器表示法(Bert)-3
- 8路高速光栅尺磁栅尺编码器4倍频计数转Modbus TCP网络模块 YL99-RJ45
- 变分自动编码器 (VAE)02/2 PyTorch 教程
- 计算机视觉: 基于隐式BRDF自编码器的文生三维技术
- 51单片机+EC11编码器实现可调参菜单+OLED屏幕显示
- VAE(变分自动编码器)
猜你感兴趣
版权申明
本文"15 Transformer 框架概述":http://eshow365.cn/6-21612-0.html 内容来自互联网,请自行判断内容的正确性。如有侵权请联系我们,立即删除!
- 上一篇: log4j的级别的说明
- 下一篇: vim的使用以及配置