安裝中文字典英文字典辭典工具!
安裝中文字典英文字典辭典工具!
|
- 一文了解Transformer全貌（图解Transformer）
网上有关Transformer原理的介绍很多，在本文中我们将尽量模型简化，让普通读者也能轻松理解。 1 Transformer整体结构 在机器翻译中，Transformer可以将一种语言翻译成另一种语言，如果把Transformer看成一个黑盒，那么其结构如下图所示：
- MoE (Mixture-of-Experts)大模型架构的优势是什么？为什么？
MoE大模型具备哪些优势？ MoE的最大优势就是与Dense模型相比，在相同计算资源下，训练速度更快，而且可以训练更大的模型。 比如Google的Switch Transformer，模型大小是T5-XXL的15倍，在相同计算资源下，Switch Transformer模型在达到固定困惑度 PPL 时，比T5-XXL模型 快4倍。
- Sparse Transformer - 知乎
高效 Transformer 方法 1 Sparse Transformer 提出背景 Sparse Transformer 的提出动机是基于一个在 CIFAR-10 数据集上，使用一个 128 层 Self-Attention 模型，对注意力模式可视化后得到的。如图 1 到图 4 所示，它是一个基于自回归的图像生成模型，图中白色区域是注意力机制的高权值位置，黑色区域是被 mask 掉的像素
- 十分钟读懂旋转编码（RoPE）
旋转位置编码（Rotary Position Embedding，RoPE）是论文 Roformer: Enhanced Transformer With Rotray Position Embedding 提出的一种能够将相对位置信息依赖集成到 self-attention 中并提升 transformer 架构性能的位置编码方式。而目前很火的 LLaMA、GLM 模型也是采用该位置编码方式。 和相对位置编码相比，RoPE 具有更好的 外推性
- 循环神经网络详解（RNN LSTM GRU）
包括谷歌的PaLM-2、Meta 的 LLaMA、清华的 GLM、百度的文心一言，其大模型都是使用了 Transformer结构。 但其实并不是所有的场景都适合 Transformer，比如强化学习中用的最多的还是 LSTM RNN，在推荐系统中，处理用户序列用的比较多的还是 GRU。
- 深入理解Transformer中的位置编码：
旋转位置嵌入——图片来自 [6] Transformer的核心组件之一是嵌入（embeddings）。你可能会问：为什么？因为Transformer的自注意力机制是置换不变的（permutation-invariant）；它会计算序列中每个token相对其他token的注意力权重，但并未考虑token的顺序。实际上，注意力机制将序列视为token的无序集合。为此
- Transformer模型详解（图解最完整版） - 知乎
Transformer 的整体结构，左图Encoder和右图Decoder 可以看到 Transformer 由 Encoder 和 Decoder 两个部分组成，Encoder 和 Decoder 都包含 6 个 block。Transformer 的工作流程大体如下： 第一步： 获取输入句子的每一个单词的表示向量 X， X 由单词的 Embedding（Embedding就是从原始数据提取出来的Feature） 和单词位置的
- Transformer两大变种：GPT和BERT的差别（易懂版）-2更
Transformer是GPT和BERT的前身。谷歌和OpenAI在自然语言处理技术上的优化，都是基于这个模型。 更多关于的Transformer可以看文章： ChatGPT与Transformer（无公式版） 而在目前的“猜概率”游戏环境下，基于大型语言模型（LLM，Large Language Model）演进出了最主流的两个方向，即Bert和GPT。 其中BERT是之前最流行
|
|
|