安裝中文字典英文字典辭典工具!
安裝中文字典英文字典辭典工具!
|
- 稀疏（sparse）在机器学习中很重要吗？为什么？ - 知乎
深度学习论文中经常看到"sparse"，所以应该是重要的概念，但一直不理解很困惑； 刚才在quora上的回答感觉很有帮助，尝试总结以下： sparse 代表数据为0，sparse数据的存在让不为0的dense数据聚集在一起； 因为存在数据聚集效应，所以才能学到特征和规律； 如果数据维度很高，噪音很多，原本为0的
- 通俗理解，Sparse Attention是什么原理？ - 知乎
通俗解释 Sparse Attention 的原理： 想象你在读一本长篇小说，如果每一页都要仔细读完全文才能理解剧情，效率会非常低。实际上，你会 快速跳过无关段落，只聚焦关键章节和人物对话，这就是 Sparse Attention（稀疏注意力） 的核心思想——让AI模型像人类一样“选择性关注重点，忽略次要信息
- 请问机器学习中的稀疏先验（sparse prior）是什么？ - 知乎
还是离不开概率啊。 sparse prior是指在机器学习中，使用一个 概率 分布来描述参数的分布，其中大多数参数的值都是零或接近零。这个概念出自于2006年的论文《Sparse Bayesian Learning and the Relevance Vector Machine》，该论文提出了一种基于稀疏先验的机器学习算法，即关联向量机（Relevance Vector Machine）。
- 头顶上头发稀疏怎么办？ - 知乎
头顶头发稀疏是比较常见的脱发类型，女性略多于男性， 从临床医学上来说，大多数头发稀疏，都是因为 雄激素 脱发所致。 目前医学上公认治疗头顶上头发稀疏的方法有3种：用药，医学养护，植发 今天，我围绕脱发原因和如何解决这两方面解答大家的疑问，了解清楚原因，便能从根源上解决问题
- 如何评价 Kimi 开源的稀疏注意力框架 MoBA？与DeepSeek的NSA相比，二者各有哪些亮点？ - 知乎
SFT阶段部分数据带着非常稀疏的loss mask（使得只有1%甚至更少的token 有训练用的梯度），这导致MoBA在大部分sft任务上表现良好，但是越是长文总结类型任务，loss mask 越是稀疏，反应在出来的学习效率越是低下。 MoBA在准上线流程中被按下暂停键，第三次进入思过
- 稀疏表达的意义在于？为什么稀疏表达得到广泛的应用？ - 知乎
和@Kevin Sun的指正）也是被广泛使用。 这里就不引用相关文献了，仅做科普使用。 排名第一的答案提到了compressed sensing和l1范数，值得指出的是，compressed sensing只是稀疏表达的用处之一。不过确实，稀疏表达在compressed sensing的概念被提出之后，获得了广泛的关注。 然后l1范数只是获得sparsity的约束
- 什么是稀疏特征 (Sparse Features)? - 知乎
所谓”稀疏“，是很常见的一个词，比如稀疏矩阵，稀疏编码。 这里直白点讲，就是非零值很少。 就如对于矩阵而言，稀疏矩阵，就是大部分数据都为0，少部分不为0，稀疏正是指”非0数据很少。 那么”稀疏特征“，如果用矩阵的形式表达，得到的就是稀疏
- 神经网络的稀疏表达是指什么，稀疏表达为什么可以提高神经网络的效果呢？ - 知乎
神经网络中稀疏性的故事始于修剪，这是一种通过压缩来减小神经网络大小的方法。 第一篇提倡神经网络稀疏性的主要论文可以追溯到 1990 年，由 LeCun 及其同事在 AT T 贝尔实验室工作时撰写。 当时，后剪枝神经网络来压缩训练好的模型已经是一种流行的方法。
|
|
|