豆包手机助手发布技术说明:无法截屏受保护安全内容
近日,豆包手机助手针对其技术原理发布说明,澄清其严格遵循系统安全机制,无法截取如银行安全键盘等被标记为Secure的受保护界面内容。
豆包手机助手操作手机功能的实现原理是:
用户下达指令 -> 截屏发送给云端豆包大模型 -> 模型理解后返回具体操作 -> 手机端执行操作指令,不断重复直到完成任务。因此每一步操作后都需要再截图上传给云端大模型分析,每步操作间隔约为 3 秒钟。
该助手使用的是系统原生截屏接口(WindowManagerService.captureDisplay),此接口会自动规避安全内容。说明中指出,其所需的READ_FRAME_BUFFER等系统权限,旨在为运行于虚拟屏中的普通应用提供截屏能力,以供云端AI模型分析执行用户指令。
图:豆包手机助手无法读取受系统保护的界面内容
对于受保护页面,相关权限仅用于确保用户在虚拟屏投影中可正常查看与操作,但界面内容仍受保护,无法被截取。豆包手机助手强调,其仅在用户指令下进行截屏,且截图仅用于实时任务推理,完成后不会在云端存储。
