Cua 发布 Cua Spaces,为 AI 智能体提供完整桌面
trycua / cua
Cua 发布 Cua Spaces,一个在 Mac 上为 AI 智能体提供完整桌面的应用,每个桌面是一个 Space,即本地构建的 macOS 虚拟机或 Linux、Omarchy 镜像,可运行在自有机器或 AWS、Google Cloud、Modal 账户中。
Cua 把 macOS 桌面做成可交给智能体操作的 Space,并给出驱动、SDK 与评测工具,适合想跑 computer-use 的团队评估。
给 AI 智能体一台可用的电脑。
Cua Spaces 让你的智能体在你的 Mac 和你拥有的机器上获得完整的桌面。该仓库还包含用于桌面自动化的 Cua Driver、用于本地虚拟机的 Lume、CUA-S1 决策模型,以及用于评估计算机使用智能体的 Cua Bench。
选择你的路径
- Cua Spaces: 安装应用并运行你的第一个 Space。
- Cua Driver: 操作 Calculator 并验证其结果。
- Lume: 创建一个 Tahoe 虚拟机并通过 SSH 连接。
- Cua SDK 和 CLI: 安装
cua并创建一个本地沙盒。 - CUA-S1: 探索用于计算机使用决策的小型专用模型。
- Cua Bench: 创建并验证一个模拟任务。
带上你自己的智能体和模型,或探索用于专用决策的 CUA-S1。Cua 提供计算机和自动化工具。Computer-Use 2.0 描述了一个智能体在同一任务中在代码、API 和图形界面之间切换。
Cua Spaces
Cua Spaces 是一款桌面应用,可为你的智能体提供完整的桌面。每个桌面都是一个 Space:在你的 Mac 上本地构建的 macOS 虚拟机,或 Linux 或 Omarchy 镜像。Spaces 运行在你的 Mac、你拥有的其他机器,以及你自己的云账户(AWS、Google Cloud 或 Modal)中,应用会将它们保留在你的菜单栏和刘海区域。
- Teleport。 将已登录的应用(如 Chrome 或 Slack)移入 Space,它会在那里打开并保持登录状态。你的会话保存在 Cua Keyvault 中,在你的 Mac 上加密,只有在你批准后才会到达 Space。
- 多人协作。 你和你的智能体在同一个桌面上工作,各自拥有自己的光标。你可以介入做出选择,然后把桌面交还回去。
- 为智能体准备的镜像。 Spaces 镜像自带 cua-spacesd,因此 Space 一启动,智能体就能获得进程、文件、截图和输入。
cua-spaces-demo.mp4
在 macOS 26 或更高版本上安装
curl -fsSL https://cua.ai/install.sh | sh在 macOS 上,安装程序默认选择 Cua Spaces 应用,并添加 cua CLI。你也可以下载已签名的 .dmg,或从 Cua Spaces 0.1.0 发布版获取 .pkg。
Spaces 对个人免费。Pro 和 Teams 计划即将推出。该应用以 FSL-1.1-MIT 许可开源。
快速开始 | Teleport 一个应用 | 共享一个 Space | 在备用 Mac 上托管 Spaces(中继、Tailscale 或 SSH) | 你自己的云 | 应用源码
Cua Driver
为你的智能体提供工具,以检查和操作 macOS、Windows 和 Linux 上的原生桌面应用和浏览器。通过 CLI、MCP 或类型化 SDK 连接。在应用和平台支持的情况下,后台投递让智能体无需移动你的指针或抢占焦点即可工作;边界情况请参阅平台支持。
macOS / Linux
/bin/bash -c "$(curl -fsSL https://cua.ai/driver/install.sh)"Windows (PowerShell)
irm https://cua.ai/driver/install.ps1 | iex
你的第一个结果: 连接你的智能体,让它在 Calculator 中计算 6 × 7,并让它验证应用显示 42。该教程涵盖平台设置、权限和智能体连接。
使用 Claude Code、Codex、Cursor、OpenClaw 或其他 agent?找到你的集成方式。源文档和架构说明位于 libs/cua-driver/README.md。
查看 Cua Driver 的实际运行
两个 Cua Driver 会话在 Omarchy 桌面上选择 LibreOffice Calc 中的单元格和 Inkscape 中的对象,同时终端保持在前台。观看这段 50 秒的演示。
recording.mp4
Lume
使用 Apple 的 Virtualization.Framework 在 Apple Silicon 上创建和管理本地 macOS 和 Linux 虚拟机。
/bin/bash -c "$(curl -fsSL https://cua.ai/lume/install.sh)"你的第一个成果:从 Apple 恢复映像创建一个原生 macOS Tahoe 虚拟机,启动它,并通过 SSH 连接。本教程直接使用 Lume CLI,并解释了无人值守安装的默认设置。
创建你的第一个 Lume 虚拟机 | 安装 | CLI 参考
Cua SDK 和 CLI
一个 SDK 和一条 cua 命令,用于本地虚拟机和容器,以及任何运行 cua-spacesd 的机器。
macOS / Linux
curl -fsSL https://cua.ai/install.sh | shWindows (PowerShell)
irm https://cua.ai/install.ps1 | iex
在终端中,脚本会显示一个简短的清单:cua CLI、Cua Spaces 应用(macOS 上默认)、为你的 agent 准备的 cua-driver MCP 和 skill,以及托管这台机器。然后它会运行 cua auth login,让你登录,并提供将 cua skills 和 cua MCP 服务器安装到你的 AI 编程 agent(Claude Code、Codex、Cursor 等)中。使用 sh -s -- --select cua-driver 预选项目,或使用 --only cua-driver 跳过清单。参见安装程序选项。
cua sb create ubuntu --name dev # a gVisor container, set up on first use cua sb exec dev uname -a cua sb screenshot dev cua sb rm dev
从 Python 使用同一个沙箱:
from cua_sandbox import Image, Sandbox async with Sandbox.ephemeral(Image.linux(), local=True) as sb: print((await sb.shell.run("uname -a")).stdout)
- SDK:相同的 API 支持 Python(
pip install cua)、TypeScript(@trycua/cua)、Swift(Cua)和 Kotlin(生成的绑定),可嵌入你的进程中运行,或通过共享的cua daemon运行。 - 沙箱内部无需 agent。就绪状态来自运行时和可选的端口探测。附带 cua-spacesd(端口 3211)的镜像增加了进程、文件、截图、通过 cua-driver 的输入,以及低延迟的视频和音频流。
- 你自己的机器。
cua host setup使这台机器可通过 cua.ai 中继访问,无需端口转发。
SDK README | 快速开始 | CLI 参考 | 沙箱 SDK 参考
CUA-S1
CUA-S1 是我们用于计算机操作的小型专用 System 1 模型系列。我们用“System 1”作为工程类比,指快速、有界的决策,例如选择哪个值应放入某个字段,或是否保持某个元素不变。它不是对模型架构的严格分类,也不能替代通用 agent 的规划与推理。
第一个研究 profile 聚焦于表单:从结构化界面元素和文档值中评分决策,而不是逐 token 生成响应。应用代码对操作进行排序,可选的 Cua Driver 集成在明确的操作边界内处理执行。
该项目包括 Python 模型代码、合成数据生成、训练和评估。GitHub 组件是早期的、仅源代码的研究版本;模型权重单独托管在 Hugging Face 上。源代码采用 MIT 许可。请查看每个模型和数据集卡片,了解其范围、限制和特定于产物的许可。
Hugging Face 上的 CUA-S1-FORMS: 模型权重 | 数据集
Cua Bench
构建计算机使用任务、评估智能体,并导出轨迹用于训练。从一个无需 VM、Docker 或模型 API 密钥的模拟任务开始。
安装 Python 3.12 或 3.13 以及 uv 后:
uv tool install 'cua-bench[browser]' uv tool run --from 'cua-bench[browser]' playwright install chromium
你的第一个结果:创建一个小任务,运行其参考解决方案,并验证其评估器报告奖励为 1.0。然后自己尝试同样的任务。
构建你的第一个任务 | 什么是 Cua-Bench? | CLI 参考 | 与我们合作
包
| 包 | 描述 |
|---|---|
| cua-driver | 适用于 macOS、Windows 和 Linux 的后台计算机使用智能体 |
| cua SDK 和 CLI | Rust 核心和 cua 命令:沙箱、本地运行时、镜像、Spaces |
| cua(Python) | 适用于 Python 的 cua SDK(pip install cua) |
| @trycua/cua | 适用于 Node 和浏览器的 cua SDK,以及 @trycua/cua/spaces |
| Cua(Swift) | 适用于 Swift 的 cua SDK(SwiftPM、XCFramework) |
| cua-sandbox | 高层 Python Sandbox/Image/Pool API,是 cua SDK 的轻量封装 |
| cua-spacesd | 沙箱内守护进程,运行在端口 3211:进程、文件、桌面、流式传输(gRPC) |
| 适用于 macOS 的 Cua Spaces | macOS 上的 Spaces 应用:菜单栏和刘海、实时流、传送、智能体线程 |
| Cua Spaces 核心 | 共享的 Spaces 应用核心,以及适用于 Linux 和 Windows 的 Tauri 应用 |
| cua-bench | 用于计算机使用的基准测试和 RL 环境 |
| lume | 在 Apple Silicon 上进行 macOS/Linux VM 管理 |
| lumier | 适用于 Lume VM 的 Docker 兼容接口 |
已弃用的包
Cua 不再维护这些包。它们将不再获得更新或修复,现有版本仍保留在 npm 和 PyPI 上。请参阅从已弃用的包迁移。
| 包 | 注册表 | 改用 |
|---|---|---|
| cuabot | npm | 不要运行它:它存在已知安全问题。停止并卸载它(方法),然后使用 Cua Driver 或 cua CLI。 |
cua-computer |
PyPI | 用于沙箱的 cua SDK,用于你所在机器的 Cua Driver |
cua-computer-server |
PyPI | 附带 cua-spacesd 的镜像,或 Cua Driver |
| cua-agent | PyPI | 带有 Cua Driver MCP 的编码智能体,或 cua SDK 中的 sandbox.agents() |
| cua-som | PyPI | Cua Driver |
资源
- 文档:指南、示例和 API 参考
- 博客:教程、更新和研究
- Discord:社区支持和讨论
- GitHub Issues:错误报告和功能请求
- 安全:私密漏洞报告
引用
如果 Cua 对您的研究有所帮助,请引用该软件:
@software{cua2025, author = {{Cua AI, Inc.}}, title = {Cua}, year = {2025}, url = {https://github.com/trycua/cua}, license = {MIT} }
为确保可复现性,请包含您实验中使用的 Cua 版本或提交。引用元数据也可在 CITATION.cff 中获取。
贡献
我们欢迎贡献。详情请参阅我们的贡献指南。
许可
Cua Spaces 之外的所有内容均采用 MIT 许可(LICENSE):cua SDK 及其 Python、TypeScript、Swift 和 Kotlin 包,cua 命令和 cua daemon,Cua Driver、Lume 以及本仓库的其余部分,除非某个目录另有说明。
Cua Spaces 以 FSL-1.1-MIT 提供源码:Spaces 应用、cua-spacesd、Cua Keyvault、teleport、Cua Volume(cua-volume)以及流式客户端、编解码器和查看器。流式传输线协议保持 MIT。可自由使用、自行托管和在其上构建,不得提供竞争性托管服务,且每个版本在发布两年后转为 MIT。
MIT 部分从不依赖 FSL 部分。部分子目录带有自己的许可证;LICENSING.md 列出了每一个以及两者如何组合。
将 Spaces 作为托管或管理服务提供?请参阅 COMMERCIAL.md。关于我们名称和徽标的使用,请参阅 TRADEMARKS.md。
第三方组件有其自己的许可证:
- Kasm(MIT)
cua-som是一个可选包,采用 AGPL-3.0-or-later 许可。其 Ultralytics 依赖保留自己的许可证;在再分发之前,请检查解析后的依赖版本及其声明。- Microsoft OmniParser 仓库声明其仓库内容采用 CC-BY-4.0。从单独的 OmniParser 模型仓库下载的模型文件是独立的产物;在再分发之前,请核实随确切模型修订版发布的条款。
- 可选的
cua-perception扩展与 MIT 许可的 Cua Driver 分开安装,来自cua-perception-v<version>GitHub 发布的签名资产。每个版本组合了一个 AGPL-3.0-only 的 OmniParser 模型产物、Apache-2.0 的 PP-OCR 模型产物,以及单独打包的 ONNX Runtime。该扩展不是 MIT 许可。再分发它,或通过网络向用户提供它,可能触发 AGPL-3.0 源码义务。Cua 不会重新许可该检测器,也无法为其授予其他条款。在安装、再分发或托管扩展产物之前,请阅读感知第三方声明和注意事项。
商标
Apple、macOS、Ubuntu、Canonical 和 Microsoft 是其各自所有者的商标。本项目与这些公司无关联,也未获得其认可。
赞助商
感谢我们所有的 GitHub Sponsors。
| Adam Cohen Hillel | CodeRabbit | Zephyr Cloud IO |
|---|---|---|
来源:web-github-trending · github.com