1. 基础作业:使用LMDeploy以本地对话、网页Gradio、API服务中的一种方式部署InternLM-Chat-7B模型,生成300字的小故事(需截图)
1 环境配置
2 服务部署
- 模型转换 ——— 离线转换:指定模型名称、模型路径,转换为
turbomind
需要的格式
- TurboMind 推理+命令行本地对话
此时是跳过 API Server 直接调用 TurboMind。Server 就是本地跑起来的模型(TurboMind),命令行启用Client可以看作是前端。
- TurboMind推理+API服务
运用 lmdepoy 进行服务化,使用Turbomind的API Server 可以提供对外的 API 服务来进行服务。
- 网页Grado