就在10月26日OpenAI发布了GPT-6.1 Terra。与以往侧重聊天写作和复杂推理的模型不同,这次升级把重点放在了看懂屏幕,并实际操作上。新模型结合视觉理解能力对电脑操作和自然语言能力,能够识别网页及软件中的按钮、输入框、表格等标签了,并且在获得相应工具与权限后可自行填写表单、资料整理和跨应用信息录入等任务。AI正在从回答怎么做,变成了直接参与把事情做完。
当然 GPT-6.1 Terra的最大亮点是将视觉推理与电脑操作深度结合。 传统自动化通常靠固定脚本或API接口,软件界面一旦变了固定脚本就没法用了,而部分以前的系统又缺少开放接口。新模型则可以根据网站内容理解当前状态,判断下一步操作。例如企业收到供应商发来的产品图片和资料后,他就可以辅助匹配商品和整理信息并更新后台;当面对发票、报表等文件也有可能完成内容提取、字段核对和系统录入。在建筑设计、内容制作等场景中它还能理解技术图纸,检查图片裁剪和文字布局等,让视觉能力不再停留于简单的识别当中。
另外在性能方面GPT-6.1 Terra同样迎来明显提升。 OpenAI公布的测试显示新模型在专业任务评测Agents' Last Exam中,以中等推理强度取得的成绩较上一代提升了15个百分点;在视觉推理测试MMMU-Pro和桌面操作测试OSWorld 2.1中也体现出明显进步。官方还表示在相关测试任务中,新模型的执行速度比部分更高定位的模型快出三倍以上。同时Terra在事实准确性、自然语言表达和代码处理方面也得到了改善,但对于极为复杂的编程与推理工作OpenAI仍建议使用更高定位的模型。
另一项重要变化是使用成本的下降。 对于需要连续识别屏幕、规划步骤、调用工具和验证结果的AI智能体来说,单次对话的费用并不能代表整个业务流程的整体成本。更高的执行效率与更低的调用成本,有助于推动订单录入、财务单据处理、客户资料维护等高频任务规模化落地。在未来API与传统RPA与具备视觉理解能力的AI智能体可能形成互补,企业无需为每一种界面操作都在单独编写一个固定脚本了,AI Agent也有望成为企业数字化转型的重要工具之一。
目前看来GPT-6.1 Terra已面向符合条件的用户在ChatGPT Work和Codex中开放使用了,开发者也可通过OpenAI API接入。不过值得注意的是能操作电脑不意味着可以无条件接管系统,实际部署仍需相应的权限管理、操作审计和关键环节人工的确认。GPT-6.1 Terra释放的信号十分明确大模型已经开始从谁更会回答问题转而向谁能以更低成本、更高可靠性完成任务转变了,因为当前很多模型都已经能满足大家的需求了。 当AI真正走进日常办公人与软件的协作方式也将发生改变。
关于维基框架
维基本地知识库是一个本地优先的开源知识库系统,融合向量检索、重排与对话式问答,支持多种主流大模型 API,具备高性能本地存储与灵活扩展能力,适合智能问答、知识管理、企业知识中台等场景。MulanPSL2 许可证,欢迎共建!
官网:framewiki.com
Gitee:https://gitee.com/cdkjframework/knowledge-base
📄 许可证:MulanPSL-2.0(木兰宽松许可证,第2版)