OmniParser｜界面截图结构化解析工具

用途与定位

OmniParser 是微软开源的界面截图解析方法（开发库），目标是把用户界面截图转成结构化、易理解的界面元素，从而增强视觉语言模型在界面相应区域生成可执行操作的能力。它面向图形界面智能体、界面自动化、自动化测试等方向的研究与开发人员，需要自行搭建 Python 环境并调用代码，不是开箱即用的桌面软件。

主要功能

• 交互区域检测：识别截图中的图标、按钮等界面元素的位置，官方说明中 V2 使用 YOLOv9-E 检测器。
• 元素功能描述：用模型为识别出的元素生成简短说明，帮助理解该元素的作用。
• 可交互性预测：自 V1.5 起可判断每个界面元素是否可交互。
• 配套 OmniTool：官方说明可用 OmniParser 搭配所选视觉模型控制 Windows 11 虚拟机，并称支持 OpenAI、DeepSeek、Qwen、Anthropic Computer Use 等模型接入；具体可用范围与稳定性待核查。

输入与输出

输入通常是一张界面截图；输出是被解析出的界面元素列表，包含位置区域、说明文字、是否可交互等信息，供上层智能体决定下一步操作。具体字段与调用方式请以项目文档和示例为准。

获取与上手步骤

1. 从代码托管页面克隆仓库。
2. 按官方说明创建 Python 3.12 的 conda 环境并安装 requirements 依赖。
3. 下载模型权重到 weights 目录；注意 README 中提到 YOLOv9-E 检测器权重在合并前需按指定方式下载，步骤可能随项目更新变化。
4. 运行官方提供的示例笔记本或 Gradio 演示查看效果。

示例任务

给出一张软件窗口截图，让 OmniParser 标注出其中的按钮和图标，再把解析结果连同原始截图交给视觉模型，要求其输出“点击某个按钮”的具体坐标。

运行环境与费用

需要 Python 环境与本地或远程计算资源，GPU 显存、推理速度与最低硬件要求待核查。项目本身开源，是否需要调用外部模型 API、由此产生的费用，以及国内网络环境下下载权重和访问演示页面的可行性，均待核查。

隐私与安全

界面截图可能包含账号、聊天记录、文件路径等敏感信息，上传至第三方模型服务前应评估隐私风险；控制虚拟机的自动化方案应限制权限范围，避免误操作真实系统。

许可证

需按代码与权重分别核对：仓库标注的许可证信息与 README 中徽章、模型权重说明存在不一致，icon_detect_v3 官方称基于 MIT 许可的 YOLOv9 实现，早期基于 Ultralytics 的检测器保留原 AGPL 许可，描述模型为 MIT 许可。实际使用前请以仓库 LICENSE 文件和各权重页面为准，商业使用与再分发条件待核查。

来源与使用边界

官方仓库：https://github.com/microsoft/OmniParser

资料版本：https://github.com/microsoft/OmniParser/blob/354021201345a96178360b28733573e27269f2de/README.md

维护方：microsoft/OmniParser；采集日期：2026-11-13。依据官方资料经AI整理，本站未安装、运行或实测。

许可标识：CC-BY-4.0，具体范围以原始许可文件为准；代码、模型权重、依赖及在线服务适用各自条款。开源不代表模型调用、托管或商业服务免费。国内访问、硬件及模型适配条件未经本站验证。