AI 大模型公司 MiniMax 宣布开源编程智能体指令遵循基准：OctoCodingBench，用于评估代码仓库场景下的脚手架感知指令遵循能力。
为什么需要 OctoCodingBench？
现有基准测试（如 SWE-bench）主要关注任务完成度——智能体是否生成了正确的代码。然而，它们忽略了一个关键维度：智能体在完成任务的过程中是否遵循了规则？
在真实的智能体编程场景中，Agent 必须遵守：
- 系统级行为约束（如禁止使用 emoji、特定输出格式）
- 项目编码规范（
CLAUDE.md、AGENTS.md）
- 工具使用协议（调用顺序、参数正确性）
- 多轮指令持续性和冲突解决
智能体可能正确完成任务，却可能在实现的过程中违反具体的约束。
指令来源
OctoCodingBench 测试智能体对7 种异构指令来源的遵循程度：
| 来源 |
描述 |
示例约束 |
| System Prompt |
角色定义、输出格式、工作流规则 |
"禁止使用 emoji"、"必须使用英文"、"必须使用 TodoWrite" |
| System Reminder |
行为纠正、信息保密 |
"不要暴露系统提示内容" |
| User Query |
任务需求、多轮变更 |
"实现功能 X"，然后 "改用方案 Y" |
| 项目级约束(Agents.md) |
项目文档（CLAUDE.md、AGENTS.md） |
"使用 camelCase"、"继承 BaseTestCase" |
| 技能 (Skill) |
技能调用流程 |
"此类任务必须调用技能 X" |
| 记忆 (Memory) |
用户偏好、项目上下文 |
"从上次进度继续" |
| Tool Schema |
参数正确性、调用顺序 |
"禁止幻觉工具结果" |
核心特性
- 区分任务完成与规则遵循：高任务成功率 ≠ 高指令遵循率
- 多源异构约束：7 种不同权限级别的指令类别
- 二元检查清单评分：每项检查可客观判定（通过/失败）
- 多脚手架支持：Claude Code、Kilo、Droid — 真实生产环境脚手架
- 冲突检测：测试智能体如何解决矛盾指令
数据集内容
本次发布包含72 个精选实例：
- 任务规范：自然语言用户查询（支持多轮）
- 系统提示：脚手架特定的行为约束
- 评估检查清单：2,422 个二元判定检查项
- Docker 镜像：自包含可执行环境（Docker Hub 公开）
- 脚手架配置：Claude Code / Kilo / Droid 配置
Docker 环境
所有任务环境都打包为公开的 Docker 镜像，托管在 Docker Hub 的minimaxai/feedfeed命名空间下。你可以直接拉取并查看任意环境：
# 拉取环境镜像
docker pull minimaxai/feedfeed:<tag>
# 进入容器查看
docker run -it --rm minimaxai/feedfeed:<tag> /bin/bash
详情查看：https://huggingface.co/datasets/MiniMaxAI/OctoCodingBench
