安裝中文字典英文字典辭典工具!
安裝中文字典英文字典辭典工具!
|
- 深度学习的loss一般收敛到多少？ - 知乎
这个链接是回归问题的loss，本回答说一下分类问题的。 交叉熵 公式这里就不放了（手机打字不方便），可以看出，其实loss就是log(Pi)的平均值，Pi指的是预测ground truth的概率。所以，如果你希望预测概率超过0 5就好，那么loss就训练到log(0 5)。
- 关于短语at a loss的用法？ - 知乎
根据《牛津高阶英语词典》和常见教材（如译林版课本），at a loss的典型用法为： - be at a loss for words （因惊讶、困惑等）说不出话，不知说什么好。 例：When she told me the news, I was at a loss for words - be at a loss + wh-从句 wh- to do 对某事不知所措，不知如何是好。
- 损失函数｜交叉熵损失函数 - 知乎
Deng [4]在2019年提出了ArcFace Loss，并在论文里说了Softmax Loss的两个缺点：1、随着分类数目的增大，分类层的线性变化矩阵参数也随着增大；2、对于封闭集分类问题，学习到的特征是可分离的，但对于开放集人脸识别问题，所学特征却没有足够的区分性。
- 大模型sft为什么第二个epoch的时候loss会突然下降？ - 知乎
这样看来我们估计的这个loss还算不错。 那么我们看题目下某些回答中sft损失降到了多少呢，直接给降到了0 1左右，这已经显著地低于理论下界了。 就说明训练数据的多样性小于语言固有的随机性，要么数据太少，要么模式太简单，导致llm很轻松地把它全都背了
- 大模型优化利器：RLHF之PPO、DPO - 知乎
最终，我们可以得出 DPO 的 loss 如下所示： 这就是 DPO 的 loss。DPO 通过以上的公式转换把 RLHF 巧妙地转化为了 SFT，在训练的时候不再需要同时跑 4 个模型（Actor Model 、Reward Mode、Critic Model 和 Reference Model），而是只用跑 Actor 和 Reference 2 个模型。
- 究竟什么是损失函数 loss function? - 知乎
loss函数是什么？Loss函数是衡量模型预测值与真实值之间差距的度量标准，也是优化算法的目标函数。模型本身能够train到哪一种程度，跟Loss函数息息相关，选择合适的Loss函数可以让模型train的更好，错误使用loss函数有可能让模型什么都学不会。 Loss函数如何分类？
- 深度学习的多个loss如何平衡？ - 知乎
loss = a * loss1 + b * loss2 + c * loss3 怎么设置 a，b，c？ 我和几个朋友讨论过，大家经验是 loss 的尺度一般不太影响性能，除非本来主 loss 是 loss1，但是因为 b，c 设置太大了导致其他 loss 变成了主 loss 实践上有几个调整方法：
- 深度学习中loss和accuracy的关系? - 知乎
深度学习中loss和accuracy的关系? - 知乎
|
|
|