<aside> 💡 在Lecture5中，我们首先深入了解了大模型的特点，包括其庞大的规模以及在部署过程中面临的挑战。接着，我们详细学习了LMDeploy框架的三个核心功能，分别是轻量化、推理引擎TurboMind和服务。此外，我们还进行了实际的安装、部署和量化操作，以加深对这些概念的理解和应用。

</aside>

<aside> ❓ 课前的一些问题~

</aside>

什么是LMDeploy？

LMDeploy是大语言模型在英伟达设备上部署的全流程方案。包括模型轻量化、推理和服务。（还没有涉及到移动端），项目地址

什么是量化？为什么要量化？

显存降低了，存储空间增多了，同样的设备下能够容纳更多，提高速度。

一、大模型部署背景

<aside> 📎 什么是模型部署？

</aside>

• **定义：**将训练好的模型，在特定的硬软件环境中启动运行起来，能够接收一定的输入并返回一定的输出。
• 需要考虑模型的压缩和硬件的加速

<aside> 🔑 大模型特点：

</aside>

• 消耗显存内存大：大模型的参数量很大；需要token by token，占用显存很大
• **动态shape：**请求数不确定，token逐个生成且数量不定
• **结构简单：**transformer结构，大部分是decoder-only

<aside> 🔑 大模型部署的挑战：

</aside>

• 设备挑战：巨大的储存、如何部署
• 推理：怎么加速token生成速度；怎么有效管理内存；怎么把batch文本的随机数量，让其推理不间断
• 服务：怎么提升整体吞吐量；对个体用户的响应时间

<aside> 👉 大模型部署方案

</aside>