0%

LLM Inference

发表于 2025-09-13 更新于 2025-09-21 分类于 LLM ， inference 阅读次数：
本文字数： 234 阅读时长 ≈ 1 分钟

引言：LLM推理

这一部分主要参考Stanford cs336 Inference class，主要目的是解读一下几个问题：

为什么要关注模型推理？
需要关注哪些模型推理的性能指标？
加速模型推理有哪些方法/技术？
有哪些模型推理框架值得关注？

接下来让我们step by step地尝试探讨着四个问题。

为什么要关注模型推理？

技术详解

KV Cache

Flash Attention

Learn By Examples

FlashInfer

vLLM

参考资料

Stanford cs336 lect10