本地部署

把计算放在自己的设备上

本地部署是让模型在自己使用的电脑等设备上运行。你需要模型权重、能够加载它的软件，以及适配的硬件。GPU 是擅长并行计算的处理器，显卡中的 GPU 常用于加速模型；显存是它运行时存放权重和中间数据的空间，与磁盘剩余容量不同。模型如何装入设备

几个工具名称各指什么

Hugging Face 的模型平台用于发布、查找和获取模型文件及说明。Ollama 可以帮助管理和运行模型，也提供云端模型选项。vLLM、SGLang 是推理与服务框架，常用于把模型作为可供程序调用的服务。它们是平台或运行工具，不能直接当成某一个模型名称。模型平台、Ollama、vLLM与SGLang

用离线整理采访记录做例子

如果希望材料在本机处理，可以选择适合设备的模型与运行方式，再确认实际请求是否发往远程服务。本地应用也可能调用云端模型或搜索工具，不能只看窗口开在哪里。完全离线的流程还需要提前准备模型文件，并确认所需功能不依赖网络。

装得下与用得顺有区别

部分方案可以把权重放到内存或磁盘，再在需要时搬运；这样可能降低显存门槛，却增加等待时间。长上下文、同时处理多个请求也会影响资源需求。评估时可以记录实际材料长度、响应速度和结果质量，并核对模型格式与软件支持，避免仅按参数量或显卡名称判断能否顺畅运行。