AirLLM｜低显存逐层加载大模型推理工具

AirLLM 是一个面向大语言模型推理的 Python 库，核心思路是在推理时逐层从存储中加载模型权重，而不是一次性把整个模型读入显存，从而显著压低推理所需的显存占用。

适用人群：显存有限、希望在本机尝试较大参数开源模型的个人开发者、学生和实验者；不适合对生成速度有严格要求的线上生产服务。

已知能力：按项目自述，可在约 4GB 显存上运行 70B 模型、约 8GB 上运行 405B 模型、约 12GB 上运行 671B 的 DeepSeek-V3；支持 4 位/8 位量化；提供统一的 AutoModel 接口，兼容多种开源模型。

使用步骤（概述）：

1. 准备 Python 环境并安装该库依赖；
2. 按文档选择要加载的模型名称与量化位数；
3. 通过 AutoModel 接口加载模型，输入提示词获取生成结果；
4. 根据显存大小调整逐层加载与量化配置。

限制与待核查：逐层加载会带来额外的磁盘读写与延迟，生成速度通常明显慢于常驻显存的方案；上述显存和模型规模对应关系为项目自述，本站未实测。具体支持的模型清单、依赖版本、费用与许可需查阅项目仓库；国内网络下载模型权重可能受限，需自行核查。

来源与使用边界

原始入口：https://github.com/lyogavin/airllm

整理来源：https://github.com/ikaijua/Awesome-AITools

依据来源资料经AI翻译整理，未由本站实测。原始资料许可：CC-BY-4.0；目录许可不代表各产品或文件的使用授权。费用、账号、国内访问与版本兼容条件以原始发布者最新说明为准。