- 实现全双工架构，以进行具有实时中断的自然对话。
- 代理控制能力和计算机使用，以自动执行操作系统中的多步骤任务。
- 通过终端命令和代码库管理，为程序员提供与 Codex CLI 的高级集成。
- macOS 上通过 Appshots 提供视觉上下文支持，通过 APIMart 提供多模态流程支持。
想象一下，只需动动嘴，就能掌控整个电脑工作流程，无需放下鼠标，也无需输入没完没了的指令？GPT-Live 的出现以及 ChatGPT Desktop 全新的智能助手功能，让曾经看似科幻的场景变成了日常工具。这不再仅仅是与人工智能聊天，而是拥有一个能够感知你的操作、控制应用程序、协调复杂任务的助手，让你专注于真正重要的事情。
这项革新代表着生产力的飞跃，尤其对于那些需要在电子邮件、代码和会议之间频繁切换的用户而言更是如此。OpenAI 通过集成全双工语音引擎和与操作系统交互的功能，消除了那些每天浪费我们时间的瓶颈。我们将深入探讨这一生态系统的运作方式，从技术性的 Codex 命令到 Mac 独有的视觉功能，帮助您充分利用其强大功能，就像将 ChatGPT 集成到您的日常工作流程中以优化时间一样。
GPT-Live：自然语音革命
此次更新的核心是 GPT-Live，它采用全双工架构。与以往类似对讲机的语音模式（你说话，AI 处理，然后回应）不同，GPT-Live 可以同时进行聆听和发言。这意味着你可以在AI 说话的过程中随时打断它，它会立即做出反应，识别你的停顿、语气，甚至是犹豫，从而使对话流畅自然，如同真人对话一般。
这款引擎已部署在 iOS、Android 和网页端，但在桌面版上表现尤为出色。对于 macOS 用户来说，Appshots是一款非常棒的工具，它可以让 AI 获取当前活动窗口的视觉信息。简单来说，语音助手可以“看到”你正在查看的内容，省去了你向它描述屏幕的繁琐步骤，从而能够提供更具体的帮助。
通过智能体控制和计算机使用增强桌面
桌面版最强大的功能并非语音本身，而是它能在您说话的同时完成的操作。借助代理控制功能，您可以委派多步骤工作流程。例如，您可以让它收集散落在文件夹中的收据并整理到电子表格中，或者分析研究笔记并撰写结构化报告，而无需您在每个步骤中进行干预。
此外，计算机使用支持功能允许 ChatGPT 直接与您的计算机界面交互，打开应用程序和浏览文件。对于技术用户而言，与Chat、Work 和 Codex 的集成使您能够通过单个语音命令协调这三个环境中的任务，从而简化拉取请求的创建或实时代码调试，同时无需将双手放在键盘上。
掌握 Codex CLI 和高级命令
对于喜欢使用终端的用户来说，Codex CLI 提供了精细的控制。使用正斜杠命令，例如： /模型改变人工智能 要进入计划模式，您可以使用 /plan 命令以非交互方式管理软件开发。您还可以运行代码审查。 codex review 或通过以下方式与云交互 codex cloud允许 AI 将差异直接应用于本地存储库。
在终端界面 (TUI) 中，有一些快捷键可以简化工作流程，例如使用@符号在工作区中搜索文件，或使用 ! 符号执行本地 shell 命令。使用 /fork 命令创建会话分支的功能，让您可以探索不同的解决方案，而不会丢失原始对话——这在复杂的编程项目中至关重要，尤其是在 macOS 上执行本地 AI 推理以提高速度时。
桌面健康与福祉管理
ChatGPT Desktop 也已成为一款个人健康管理工具。虽然它不能替代医疗诊断，但在追踪症状或记录健康状况方面却非常实用。您可以上传临床分析的 PDF 文件，让它用通俗易懂的语言解释术语，或者使用语音命令快速记录症状，无需打字。
隐私在此至关重要。对于敏感数据，我们强烈建议使用临时聊天功能，它可以防止信息被保存到聊天记录或用于训练模型。务必记住，聊天记录并非端到端加密，因此谨慎处理个人数据应成为常态。
外部集成和 APIMart
为了将工作流程提升到新的水平，APIMart 应运而生，它通过单一接口连接超过500 种不同的模型。这使得在桌面端采集的语音请求能够被转换为复杂的多模态输出，例如使用 Kling V3 Omni 或 Sora 2 生成的电影级视频片段。
这个生态系统允许用户从口头表达想法开始，通过 ChatGPT 代理的协调运作，最终在后台完成异步视频渲染。它完美地结合了便捷的语音输入和市场上最先进 API 的强大输出功能。
可用性和配置指南
- 飞机： 全双工语音是免费的，但代理控制、计算机使用和 Appshots 需要订阅。 Plus、Pro、Business、Edu 或 Enterprise.
- 权限： 在 Windows 和 Mac 系统中，必须启用麦克风访问权限；在“计算机使用”模式下，也必须启用麦克风访问权限。 系统可访问性权限.
- 平台： 虽然声音是普遍的， Appshots 仅适用于 macOS 目前，这迫使 Windows 用户以视觉方式描述他们的窗口。
GPT-Live 的集成以及对 PC 的全面控制能力，将计算机变成了我们思维的延伸，通过代理编排和实时语音流畅性，最大限度地减少了意图和执行之间的障碍。
对字节世界和一般技术充满热情的作家。我喜欢通过写作分享我的知识，这就是我在这个博客中要做的，向您展示有关小工具、软件、硬件、技术趋势等的所有最有趣的事情。我的目标是帮助您以简单而有趣的方式畅游数字世界。