LocalAI｜本地部署多模态AI模型的开源推理引擎

它是什么

LocalAI 是一个开源的 AI 推理引擎，目标是在自有硬件上运行各类模型，覆盖大语言模型、视觉、语音、图像与视频等模态。官方强调它采用“小核心 + 按需后端”的架构：主程序本身很小，每个后端（如 llama.cpp、vLLM、whisper.cpp、stable-diffusion、MLX 等）封装在各自镜像中，只在某个模型需要时才拉取，不用则不安装。

需要区分：它既提供容器镜像和桌面应用形式的可运行服务，也提供 API 服务端形态，而不是一个“装上就能用”的普通桌面小软件。使用前通常要理解模型、后端和配置的概念。

适合谁

• 希望把模型跑在本地或内网、对数据外发有顾虑的团队；
• 需要在同一套接口下同时调用文本、语音、图像等多种能力的开发者；
• 已有 GPU 或纯 CPU 服务器，想做统一模型服务入口的运维人员。

主要能力

• 文本生成、向量嵌入、重排、视觉理解、目标检测、图像生成、语音转写与合成、实时语音对话等；
• 对外提供与 OpenAI、Anthropic、ElevenLabs 风格兼容的 API，便于已有客户端迁移；
• 后端以 OCI 镜像形式按需安装，支持 NVIDIA、AMD、Intel、Apple Silicon、Vulkan 以及纯 CPU；
• 多用户相关能力包括 API Key 鉴权、用户配额、基于角色的访问控制；
• 支持 MCP、聊天会话与已保存的 Agent、插件目录等扩展能力；
• 自带 WebUI 与终端交互方式。

输入与输出

输入通常是提示词、文本、音频、图片或视频文件，以及模型标识和后端配置；输出为生成的文本、嵌入向量、音频、图像或视频等结果，通过 API 返回或写入本地文件。具体参数与格式以官方文档为准。

获取与起步

官方文档给出 macOS 安装包和 Docker/podman 等容器方式的起步说明，可通过命令行加载模型库、Hugging Face 或 OCI 源中的模型。安装包在 macOS 上未做 Apple 签名，官方提示安装后需要手动去除隔离属性，具体步骤以官方说明为准。

示例任务（描述性，非实测结论）：在本地起一个服务，加载一个量化后的对话模型，然后用兼容 OpenAI 的客户端请求生成文本；或加载语音转写后端，把一段录音转成文本。

运行环境与限制

• 官方称纯 CPU 也能运行，GPU 加速支持多种厂商，但不同模型的最低显存、磁盘与系统要求差异很大，需按模型逐一核查；
• 后端会按需下载镜像，首次使用需要网络与较大磁盘空间；
• 实际延迟与吞吐取决于模型规模、量化方式和硬件，未做实测，不宜预设性能；
• 国内网络访问镜像源、模型源和外部服务可能受限，需自行评估，属待核查事项；
• 数据本地处理是其设计取向，但具体隐私表现取决于部署方式、日志与插件配置，需自行核查；
• 代码采用 MIT 许可证，但模型权重、第三方后端镜像与外部服务各有自己的许可与条款，须分别核对。

来源与使用边界

官方仓库：https://github.com/mudler/LocalAI

资料版本：https://github.com/mudler/LocalAI/blob/b108a4d95deb4fdf426cacb3ab2dc7a6d13b201a/README.md

维护方：mudler/LocalAI；采集日期：2026-11-13。依据官方资料经AI整理，本站未安装、运行或实测。

许可标识：MIT，具体范围以原始许可文件为准；代码、模型权重、依赖及在线服务适用各自条款。开源不代表模型调用、托管或商业服务免费。国内访问、硬件及模型适配条件未经本站验证。