AI仙宝l
githublitellm｜统一调用百余家大模型的AI网关与Python开发库
用统一的OpenAI格式调用OpenAI、Anthropic、Gemini、Bedrock、Azure等上百家大模型，可作Python开发库集成，也可自建网关集中管理团队调用。
LLM 推理与部署Python 开发库；可自托管的 Web 网关服务使用难度
站长实测状态尚未登记
LLM 推理与部署相关工具、教程与提示词
汇集LLM 推理与部署主题下已发布的工具、教程、提示词与场景资料，帮助你了解用途、使用条件及操作方法。
AI 工具
L
githubLocalAI｜本地部署多模态AI模型的开源推理引擎
在自有电脑或服务器上运行大语言模型、语音、图像、视频等多模态模型的推理引擎，可为需要数据不出内网、按需加载后端的开发者和运维团队提供兼容主流云端接口的本地AI服务。
LLM 推理与部署跨平台（容器 / macOS 应用 / 服务端）使用难度
站长实测状态尚未登记
A
外部应用AirLLM｜低显存逐层加载大模型推理工具
一个通过逐层加载降低大语言模型推理显存占用的 Python 库，让显存有限的电脑也能尝试运行大参数模型，适合个人开发者做本地推理实验。
LLM 推理与部署Python 库，依赖 Python 运行环境使用难度
站长实测状态尚未登记
D
外部应用DwarfStar（ds4）｜C 语言原生本地大模型推理引擎
一款用 C 从零编写的本地大模型推理引擎，面向希望在消费级 Mac 或大显存显卡上运行少量开源模型的开发者，支持兼容接口与本地编程助手接入。
LLM 推理与部署macOS、Linux（需自行编译，待核验）使用难度
站长实测状态尚未登记
D
外部应用DeepInfer｜DeepSeek生产级大模型推理框架
DeepSeek开源的大模型推理引擎，面向需要高吞吐、低延迟部署DeepSeek-V4.1-Flash的开发者与运维团队，集成多种自研算子与推测解码能力。
LLM 推理与部署服务器端推理环境使用难度
站长实测状态尚未登记