安裝中文字典英文字典辭典工具!
安裝中文字典英文字典辭典工具!
|
- 机器学习中Inference 和predict的区别是什么? - 知乎
深度学习中的inference更多时候和prediction通用，大概指的是前向传递的过程，即和training所相对的过程。下面是传统的定义，并不一定在DeepLearning中适用 Examples for prediction and inference Merely using a model that is suitable for inference does not mean that you are actually performing inference
- 请解释下variational inference？ - 知乎
automatic differentiation variational inference (ADVI) [9] 通过统一把variational distribution映射到 \mathbb{R}^n ，然后assume映射后的variable服从Normal distribution，继而使用repar。但这时如何较好地transform variables就很重要了，比如对于一个简单的Gamma distribution，不同的transform结果会不同
- 什么是「推理」(Reasoning)? - 知乎
推断（inference）：可以理解成一种基于充分信息量的预测过程。通常指模型训练（learning）结束后，使用训练好的模型做预测（predict）的过程，比如online inference, variational inference；或者给定 X 取值，观测Y的过程，如causal inference。
- 神经网络中训练和推理有什么区别？ - 知乎
1 推断（Inference）的网络权值已经固定下来，无后向传播过程，因此可以 模型固定，可以对计算图进行优化，还可以输入输出大小固定，可以做memory优化（注意：有一个概念是fine-tuning，即训练好的模型继续调优，只是在已有的模型做小的改动，本质上仍然是训练（Training）的过程，TensorRT没有fine-tuning
- 如何简单易懂地理解变分推断(variational inference)？ - 知乎
下面介绍平均场（mean-field）、蒙特卡洛、和黑盒变分推断 (Black Box Variational Inference) 的方法。 平均场变分族(mean-field variational family) 之前我们说我们选择一族合适的近似概率分布 q(Z;\lambda) ，那么实际问题中，我们可以选择什么形式的 q(Z;\lambda) 呢？
- 因果推断会是下一个AI热潮吗？ - 知乎
发现书中的causal inference和AI论文里的有很大出入。Judea Pearl这本书是真的在试图挖掘数据中蕴含的因果关系，而当前AI论文中往往更多的是利用causal inference这么一套概念来编一个故事。换言之，Judea Pearl的因果关系是目的，而AI论文中所谓的因果关系是工具。AI
- 有没有模型推理服务化框架Triton保姆级教程？ - 知乎
这里triton指的是triton inference server而不是OpenAI的triton，注意区分 本篇也算是triton系列第二篇，接下里会借着triton这个库，一起讨论下什么是推理、什么是推理引擎、推理框架、服务框架等等一些概念，以及平常做部署，实际中到底会做些什么。
- 如何学习大模型的推理加速，学习路线是什么，在进行大模型的端侧推理或者微调时，单机多卡可以吗？ - 知乎
Fast Inference from Transformers via Speculative Decoding, ICML 23, Google Research; 通过先让小模型推理，然后让大模型并行地验证每一步推理的正确性，节省大模型的推理步数，充分利用计算资源 SpecInfer: Accelerating Generative LLM Serving with Speculative Inference and Token Tree Verification, 23, CMU
|
|
|