人与 AI 的沟通正在变得越来越像人与人之间的沟通。

一位店员用 AI 制作门店宣传视频时，不再把需求列成一段非常细致的 Prompt 发给 AI，然后等待它返回结果；而是直接开启一个与 AI 的对话，告诉它“帮我剪一条今天新品上架的视频”，然后通过连续对话敲定任务的具体细节，就像与人类剪辑师一样。

同样的情况已经发生在很多具体场景中。一些程序员在通勤或散步时会用语音和 Agent 讨论一个功能该怎么设计，如何实现；有用户在玩游戏时，会不断与 AI 游戏助手沟通现在应该做哪些任务，当前的关卡还有哪些道具没有收集……

进入 Agent 时代，AI 不再只是输入框另一端的响应系统，而是开始进入需求讨论、方案判断和任务执行的全过程。这种角色变化，也让音视频对话成为越来越多人与 Agent 交互的主要方式。

数据显示，豆包 App 在今年一季度的音频用量环比增长约200%，视频用量增长约350%；近一年来的音视频模型日均 Token 消耗已经达到千亿级别。联想天禧 AI 看世界功能从2025年8月上线到2026年5月，人均对话轮次提升至刚上线时的1.65倍，是传统一问一答主对话的3倍。

当越来越多的人把与 Agent 的主要沟通方式从打字切换到视频或语音，多模态对话就很可能会成为人与 Agent 协作的主要交互界面。语音、视频、屏幕共享和环境信息都会成为这个界面的一部分。用户不再只是“输入问题”，而是在一个持续的上下文中，让 Agent 理解任务、补充信息、调用工具并参与执行。

但要真正实现这一点，对多模态交互能力的要求就不能只是“能听见声音”或“能看见画面”，而是要具备接近人的沟通能力，同时做好听觉、视觉、记忆和意图四项能力。只有当这些能力同时成立，多模态对话才会从一种输入方式，升级为支撑任务判断、方案形成和执行推进的协作机制，支持 Agent 完成从工具到伙伴的进化。

一、从等待指令到参与讨论

多模态交互真正改变的，不只是用户向 Agent 发出指令的方式，而是 Agent 进入任务的时间点。

在人与人的协作中，很多需求和答案并不是一开始就完整存在。往往先是有一个模糊的想法，然后在大家讨论中不断被追问细节，结合场景、资源和目标不断补充信息，最终才被沉淀成一个清晰的执行方案。

现在，人与 Agent 的沟通也开始从一次性发出指令，转向在多轮交流中澄清需求、形成方案。这是多模态交互改变协作方式的关键。

首先，它降低了人与 Agent 沟通的门槛。

对很多人来说，用一段文字向 AI 提需求是一个看似简单、实际上很难的问题。用户需要知道如何描述背景、目标、限制条件和期望结果，也需要提前预判模型可能会误解的地方。Prompt 写得不完整，结果就会偏差；想把 Prompt 写清晰，又需要付出一定的时间和精力进行思考、学习。

多模态交互让用户可以用自己最习惯的方式表达需求，不需要学习如何写好 Prompt，甚至也不需要掌握专业工具和术语。在开头提到的用 AI 制作门店宣传视频的场景中，店员与 Agent 协作时，就只需要想明白自己要什么样的成果，不必再变成一个既懂技术又懂业务的多面手。

其次，在人与 Agent 的充分讨论中，问题的上下文能被更完整地还原。

当前很多任务的挑战不在执行，而在没有充分向 Agent 澄清需求。尤其是编程、设计、办公、内容生产等场景，用户一开始往往只有一个方向，而不是一份完整需求文档。

如果 Agent 只接收一个静态 Prompt，它只能基于有限信息直接执行；如果能通过多模态交互和用户反复讨论，它就可以追问关键条件、澄清模糊表达、补全上下文，在理解目标、约束和实现路径的基础上，进入执行环节。

例如，在 Vibe Coding 场景中，Agent 的价值不只发生在写代码这一刻，而是更多体现在需求讨论和方案澄清阶段。TRAE Work “语音讨论”功能的数据显示，用户平均每通对话与 Agent 交互17轮；60%的对话属于探索发散型；70%的对话用于方案讨论，只有30%用于代码生成。

最后，多模态交互也符合人类工作重心从执行到监督的转移趋势。

随着 Agent 能力继续增强，用户会越来越少地亲自执行具体步骤，而是转向监督和保障 Agent 执行任务的效果。未来很多工作甚至不再需要人一直守在屏幕前，而是由 Agent 持续推进，在遇到不确定、需要判断或需要授权的环节时，再提醒人介入。

这样的工作状态下，语音和视频会成为更自然的监督和介入方式。人在通勤路上，可以用语音和 Agent 讨论方案；可以通过屏幕随时观察 Agent 的执行状态和结果；也可以打开摄像头，让 Agent 结合现场画面给出新的判断。

因此，多模态对话的价值不只是让用户少打字，而是改变了 Agent 进入任务的阶段：它从结果生成环节前移到需求形成、方案讨论和执行监督环节。

二、类人沟通，迈向人与 Agent 协作的关键进化

Agent 的多模态交互能力让人不必始终待在传统操作界面里，也能配合其完成工作。这需要在四个方面进行增强：

第一是听觉，目标是在真实环境中保证 Agent 能与人进行顺畅、高效的沟通。

真实世界的声音环境远比实验室复杂。用户可能在地铁、咖啡厅、办公室、户外环境中和 Agent 对话，环境里往往有回声、噪音；还可能面对多人沟通场景。对人来说，我们可以自然区分“谁在跟我说话”“哪句话与我有关”；但对 Agent 来说，这需要依赖声学和语义系统实现。

火山引擎为提升 Agent 的多模态交互能力，会面向 Agent 优化回声消除、基于声纹识别的降噪，以及声学和语义的联合理解。

传统回声消除会更关注人耳的听感，但 Agent 更在意语音识别的完整性，因此需要在压制回声的同时，保护主讲人的声音频谱。声纹识别则可以帮助 Agent 锁定主讲人，减少旁人说话带来的干扰。声学和语义的联合理解，可以让 Agent 知道这句话是不是对它说的。

只有 Agent 能稳定听清用户、理解用户，用户才会愿意用自然语言持续和它交流。这对终端场景尤其重要。联想天禧 AI 看世界的使用场景包括了办公、户外、看球、健身、通勤等真实环境。借助火山引擎的听觉能力，联想将自由打断、低延迟响应和高拟真音色打造成了 AI 看世界的体验亮点。

第二是视觉，可以让 Agent 和用户共享同一个问题现场。

联想天禧 AI 看世界打通了实时对话、屏幕共享和摄像头共享三种模式。用户可以在 Excel 里问“这几个单元格怎么合并”，也可以让 AI 评价自己今天的穿搭，让 AI 陪自己看剧、估算食物热量。

实现这种视频理解体验的难点不是让 Agent 看到更多画面，而是让它看到更有效的画面。连续视频里有大量重复帧、模糊帧和低价值信息，如果全部送入模型，会带来成本和延迟压力，也会影响理解效率。

因此，服务 Agent 的多模态交互需要在端侧提升采集质量，在云端具备关键帧优选、智能抽帧能力，并能具备选择性注意力。

其中，选择性注意力是火山引擎推出的让 Agent 能进行类人沟通的关键能力之一。它能让 Agent 在处理连续画面前，先根据用户的意图去创建一个实时视觉理解任务，带着目标去看视频。比如，在服务球赛场景时，Agent 应该能通过球衣号码辨别出对应的球员，进而确认需要追踪哪位球员的场上动作。

第三是记忆，决定了 Agent 与人能否跨越单次会话，实现真正的合作。

真正的类人沟通不是只理解当前一句话，而是能记住过去发生了什么，和用户之间发生过什么。比如用户问“刚才午饭热量高吗”，Agent 需要回忆起此前看到的食物画面。这样的交流才会更接近人与人之间的相处状态。

火山引擎为多模态交互构建了三层记忆体系：第一层是增强上下文，负责将多模态解析出来的画面核心主体类型、时空位置、行为动作等信息结构化，作为上下文提供给 Agent；第二层是短期记忆，记录几分钟前看到的画面或听到的声音；第三层是长期记忆，抽象和记录用户长期交互中的关键行为、习惯特征和重要事件。

具体实践中，联想天禧 AI 会据此搭建跨端、跨会话、跨场景的记忆体系。这套记忆系统不只服务于主对话，也会接入 AI 看世界，并覆盖 PC、Phone、Pad 多端。用户无论通过文字、语音还是视频交互，记忆都可以被沉淀下来，并在下一次会话中被调用。

这会让 Agent 不再只处理单次请求，而是开始沿着用户的生活和任务脉络持续积累上下文。

第四是意图，解决 Agent 能否参与任务定义的问题。

人类沟通中，大量信息并不会被明确说出。用户说“帮我做一个权限管理系统”，真正重要的问题可能是：权限按角色分配还是按部门分配？是否需要审批？是否有管理员层级？是否要和现有系统打通？

一个只会执行的 Agent 会立刻开始生成结果；而一个更接近协作者的 Agent，则会主动追问关键约束，把模糊需求变成可执行方案。

听觉解决“听见谁”，视觉解决“看见什么”，记忆解决“记得哪些上下文”，意图解决“到底要完成什么任务”。四项能力共同构成了 Agent 从对话走向协作的基础。这也是火山引擎的多模态交互能力区别于传统问答的地方。它能在连续沟通中理解用户真正想完成什么，并达成协作共识。

三、当多模态对话成为通用协作界面

多模态交互最终不会只是某个 App 里的一个功能模块，而会变成通用的 Agent 任务界面。

过去，语音、视频、拍照识别、屏幕共享往往是分散功能。用户需要在不同入口之间切换：想语音就打开语音模式，想识别图片就上传图片，想让 AI 理解屏幕就截图。未来，这些能力会融合成一个持续感知、持续协作的 Agent 入口，用户可以随时切换模态与 Agent 沟通，依靠 Agent 调用工具完成协作任务。

联想天禧 AI 看世界已经在终端侧展示了这种趋势。它不是单独增加了一个视频通话功能，而是把火山引擎提供的 RTC/AgentRTC、端到端语音、TTS、ASR、Seed 大模型、视觉理解、多模态传输等能力，与联想天禧 AI 自身的会话管理、记忆管理、跨端同步、人设管理、场景编排、上下文路由结合起来，再呈现在 PC、Phone、Pad 等设备上。

这意味着，实时对话正在从“打电话模式”变得更加通用，逐渐嵌入到工具、内容和现实场景中。

AI 眼镜之所以被认为是未来的关键硬件产品之一，就是因为它天然接近人的视角，可以持续接收声音、画面和环境信息，是为“随时可见、随时可说、随时可协作”的 Agent 准备的理想载体。

当 Agent 能听、能看、能记住、能理解意图，用户就可以通过 AI 眼镜这样的伴身硬件与其建立更自然的联系，利用自然语言和视觉信息操控其完成现实中的任务。比如看到一台设备，可以直接询问异常原因；在陌生环境中，也可以让 Agent 结合眼前画面进行解释，提供行动建议。

这种交互闭环本身就是一个适配 Agent 的通用操作界面，承载着未来人与物理世界的互动。

它会非常接近人们在影视作品中看到的钢铁侠的贾维斯，或者高智能方程式赛车里的车载电脑。它们并不是被动等待指令的工具，而是持续理解环境、记住用户、适时介入、协助执行任务的伙伴。

这种协作方式也会进一步抬高多模态交互技术的天花板。过去 AI 产品比的是模型能力和任务效率，未来还会比谁更接近用户的真实使用现场，谁能让用户更自然地持续交流、持续信任、持续协作。对 Agent 来说，下一代入口可能不只是一个应用，也不只是一个硬件，而是一套围绕多模态对话建立起来的协作系统。