安裝中文字典英文字典辭典工具!
安裝中文字典英文字典辭典工具!
|
- Ollama和llama. cpp什么关系，或者说有关系吗？ - 知乎
它基于llama cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai的接口。 本文将按照如下顺序介绍Ollama的使用方法~
- 为什么都在用ollama而lm studio却更少人使用? - 知乎
还有一点，ollama是llama cpp实现模型推理，模型小，速度快。 4 还有，ollama提供11434端口的web服务，重要的是还兼容openai的端点接口，可以和各种前端配合，比如ollama自己open webui，国产的chatbox，连后端带界面，一套搞定
- 草泥马是alpaca还是llama，两者的区别主要是什么？ - 知乎
Lama glama（拉丁学名）=llama（西班牙语通用名），主要被印加人当驴子当驮兽，毛比较粗不怎么有价值，用来做毛毡；肉可以吃。现在白人又找到一个新的用途——当畜群守卫，这种生物和驴一样，对于小动物尤其是绵羊和山羊有很强烈的保护欲望。
- 个人微调大模型(7B)，最经济的硬件配置是什么？ - 知乎
当然现在有很多2B左右的小模型效果也不错，如phi-1 5B，Qwen-1 8B等。这些小模型用高质量的数据训练得到的效果甚至高于Llama-7B的效果，也是未来发展的一个方向：把大模型做小，让中小企业和个人用户可以玩的起来。
- 大模型推理框架，SGLang和vLLM有哪些区别？ - 知乎
文章中的TODO有待补充，第一次认真写知乎，有任何问题欢迎大家在评论区指出 官方vllm和sglang均已支持deepseek最新系列模型(V3,R)，对于已经支持vllm和sglang的特定硬件（对vllm和sglang做了相应的修改，并且已经支持deepseek-v2），为了同样支持deekseek最新系列模型，需要根据最新模型所做改进进行对应修改
- 现在如何获取llama2模型呢？ - 知乎
Llama 2是Meta最新的大语言模型（LLM），应用广泛，影响力大。在模型架构方面，Llama 2 采用了 Llama 1 的大部分预训练设置和模型架构。它使用标准 Transformer 架构，应用 RMSNorm 进行预归一化，使用 SwiGLU 激活函数，并采用旋转位置嵌入 (RoPE)。
- llama. cpp里面的Q8_0,Q6_K_M,Q4_K_M量化原理是什么？ - 知乎
llama cpp：一个高效的机器学习推理库，其中实现了很多量化方法。 他的作者 @ggerganov 不喜欢写论文和教程文档，导致这个库的学习资料非常少，很多时候只能看代码。
- 为什么ollama运行不调用gpu？ - 知乎
我电脑配置i7-11800H，ram 40G，3060 6G laptop显卡，想本地运行一下deepseek，遇到类似问题，即ollama运行deepseek 7b，8b尚可，而14b模型时候逐词输出太慢，而且只有CPU工作，GPU不运行，想调用GPU一起干活，于是就安装了VS cuda 和 cudnn，折腾半天运行deepseek 7b时候GPU还是没反应，但偶然运行Qwen 0 5b发现GPU是工作的。
|
|
|