安裝中文字典英文字典辭典工具!
安裝中文字典英文字典辭典工具!
|
- 有没有模型推理服务化框架Triton保姆级教程？ - 知乎
这里triton指的是triton inference server而不是OpenAI的triton，注意区分 本篇也算是triton系列第二篇，接下里会借着triton这个库，一起讨论下什么是推理、什么是推理引擎、推理框架、服务框架等等一些概念，以及平常做部署，实际中到底会做些什么。
- CUDA和Triton哪个好用? - 知乎
同时，Triton 提供给用户 Python 的编程接口，相比于 C C++ 接口来说，Python 接口无疑对大多数用户来说是更为友好的。然而 Triton 仍然无法控制更底层的内存层级（寄存器），因此也无法在寄存器层级进行数据复用，因此性能始终无法挖掘到硬件的最大。
- TVM,MLIR,Triton等深度学习编译器的主要区别是什么？ - 知乎
这使得 triton-cpu 这种项目做起来很麻烦（虽然并不是不能做），且 triton-shared 这种项目也看起来很蹩脚（虽然并不是不能用）。 当然，我觉得这也是某种 trade-off，毕竟在某种程度上考虑的越多可能就没有办法快速的写出某种优化，也没有办法在流程最前端提供
- NVIDIA Triton是什么？ - 知乎
2、启动 Triton Server 用户可以从源码编译 Triton Server，也可以采用 Docker 的方式启动。 启动 Triton Server 需要指定部分参数，--model-repository 指定第一步中模型和配置文件的存放路径，--backend-directory 指定 Backend 的存放路径。
- Triton想利用Shared Memory，为什么要声明一个没有 . . . - 知乎
Triton中没有使用静态分配的Shared Memory，而是使用动态分配的Shared Memory。 Triton声明了一个extern、global、size = 0、addrspace = 3的global_smem作为基址，分配的Tensor通过Allocation cpp进行生命周期的管理，每个Tensor会分配一个SharedMemoryObject，内部就包含了相对global_smem的偏移。
- 华为昇腾920后续会接入OpenAI开源的Triton编程语言么吗？
难，因为Triton的编程模型不适合于TPU这类专用硬件。 关于这一点我们可以参考一下jax是怎么解决的。 jax推出了内核级编程语言Pallas，Pallas提供了一种同时兼容TPU与GPU的统一编程模型，这种编程模型实际上是建立在Triton与Mosaic上的进一步封装。
- 如何理解Triton 03-matmul示例中的L2 cache优化？ - 知乎
triton示例中实现L2 cache优化，是通过手写triton language来实现的，过于简陋，晦涩难懂，不够优雅。我认为理想的实现方法为： 开发者实现matmul功能时，应该使用二维的pid，而且不应考虑L2 cache优化的问题。 triton language应该提供类似tl program_grouped_id的方法。
- 如何利用Triton为RISCV架构（带rvv扩展）自动生成一个可以高效执行的softmax算子？ - 知乎
1 修改 02-fused-softmax py 的Triton算子程序 Triton算子的原始代码如下，它表示Softmax算子的计算逻辑，这也是本次实验的原始输入，我们不会对算子核心的计算逻辑做任何修改，我们的目标是通过这样的Triton-DSL来自动生成RISCV平台的可执行代码；
|
|
|