安裝中文字典英文字典辭典工具!
安裝中文字典英文字典辭典工具!
|
- 深度学习的loss一般收敛到多少？ - 知乎
看题主的意思，应该是想问，如果用训练过程当中的loss值作为衡量深度学习模型性能的指标的话，当这个指标下降到多少时才能说明模型达到了一个较好的性能，也就是将loss作为一个evaluation metrics。 但是就像知乎er们经常说的黑话一样，先问是不是，再问是什么。所以这个问题有一个前提，就是
- 损失函数｜交叉熵损失函数 - 知乎
1 3 Cross Entropy Loss Function（交叉熵损失函数） 1 3 1 表达式 (1) 二分类 在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别我们的预测得到的概率为 和 ，此时表达式为（ 的底数是 ）： 其中： - —— 表示样本 的label，正类为 ，负类为
- 我打游戏的时候一直丢包，想问怎么确定是路由器，运营商还是电脑问题？ - 知乎
你ping的是 网关，丢包，那么就是和网关之间存在问题。 如果是有线连接 那么是线的问题或者路由器本身的质量问题，是否用了太久？比如十年？二十年？ 如果是 无线连接 大概率是无线连接， 有线连接不会超过1毫秒 的，你这都远远超过1毫秒了，所以你大概率是无线。
- 神经网络模型train_loss下降，val_loss一直上升是什么原因？ - 知乎
train_loss 不断下降， test_loss 不断上升，和第2种情况类似说明网络过拟合了。 应对神经网络过拟合的方法包括： 简化模型。 通过减少神经网络层数或神经元数量来降低模型复杂度，从而减少过拟合风险。 同时，注意调整神经网络中各层的输入和输出尺寸。 数据
- 十分钟读懂旋转编码（RoPE）
旋转位置编码（Rotary Position Embedding，RoPE）是论文 Roformer: Enhanced Transformer With Rotray Position Embedding 提出的一种能够将相对位置信息依赖集成到 self-attention 中并提升 transformer 架构性能的位置编码方式。而目前很火的 LLaMA、GLM 模型也是采用该位置编码方式。 和相对位置编码相比，RoPE 具有更好的 外推性
- 为什么我的loss一直不下降，训练了50000次还在2. 5？准确率也只有10%？ - 知乎
我昨天也碰到同样的问题，在 sample dataset 上可以拟合，但是扩大到1000w样本发现loss一直在0 4不降，初步怀疑是数据问题，考虑不均衡等
- 大模型优化利器：RLHF之PPO、DPO
最终，我们可以得出 DPO 的 loss 如下所示： 这就是 DPO 的 loss。 DPO 通过以上的公式转换把 RLHF 巧妙地转化为了 SFT，在训练的时候不再需要同时跑 4 个模型（Actor Model 、Reward Mode、Critic Model 和 Reference Model），而是只用跑 Actor 和 Reference 2 个模型。
- 深度学习模型训练的时候，一般把epoch设置多大？ - 知乎
在机器学习中，epoch 数量是指整个训练集通过模型的次数。一个Epoch意味着训练数据集中的每个样本都有机会更新内部模型参数。 Epoch由一个或多个Batch组成。 选择合适的 epoch 数量是一个关键的问题，因为它会影响到模型的性能和训练时间。 通常，epoch 数量越多，模型在训练数据上的性能越好
|
|
|