【征文】我用 WorkBuddy 把开源数字人直播项目在本机跑通：从环境搭建到 66 秒真开播的完整记录
## 一、要解决的事 我想验证一个具体问题：**一个人、一台 Mac、不做开发，能不能把「AI 数字人 24 小时直播」这件事真正跑起来，并且算清楚它的成本。** 不是为了炫技。我本身在做 AI 内容创业，需要判断这条链路能不能进我的业务。所以这次的目标写得很死： 1. 在本机（MacBook，M4 / 24GB）跑通完整链路，不租服务器 1. 走通「弹幕 → 对话 → 声音 → 画面」全流程 1. 得到一次真实开播的账单数字 最后三条都拿到了，过程比预想的折腾，坑基本都集中在「沙箱、权限、计费」这三件事上。下面按实际顺序记录。 --- ## 二、输入材料与选型 开源项目我选的是 `garycaogan/ai-live-avatar`（MIT 协议）。选它的原因很实际： - 它是**原生支持 macOS** 的版本。更早上游的 Windows 版本要改一堆路径，而这个仓库 README 直接给了 mac 说明 - 依赖只有 3 个 Python 包，不是那种装着装着就报依赖地狱的项目 - 渲染端走云端 API，本机不需要显卡——这点对 Mac 是决定性的 架构是这样分工的： |环节|承担方|是否本机| | --- | --- | --- | |弹幕采集与过滤|本地 Python 服务|是| |对话大脑（LLM）|云端 API|否| |语音合成（TTS）|云端音色|否| |画面与口型渲染|云端实时数字人（按秒计费）|否| **关键成本信息（先摆出来）**：实时渲染按秒计费，折算约 **169 元/小时**。这个数字决定了后面所有的操作纪律——开播就是烧钱，必须提前设上限。 > 图 1：项目 README 的成本说明截图 --- ## 三、环境搭建：5 分钟，但卡在两个地方 ### 3.1 建环境 系统自带的 python3 建 venv 时报 `ensurepip` 失败，换成 uv 一次过： ``` uv venv .venv --python 3.13 uv pip install --python .venv/bin/python -r requirements.txt ``` 依赖装完验证（这步别省，能省掉后面的玄学问题）： ``` .venv/bin/python -c "import aiohttp, PIL, numpy; print('依赖OK')" ``` ### 3.2 拉实时通信 SDK 项目用一个脚本拉阿里云 RTC 的浏览器 SDK： ``` ./tools/fetch_vendor.sh cp config.example.json config.json ``` ### 3.3 坑一：服务能起来，但「上传素材」必 500 第一次启动服务、上传形象图，接口返回 500。日志里没有异常堆栈，只有文件操作失败。 排查路径：上传处理 → 保存逻辑 → 发现它用的是**「写临时文件再原子替换」**（`tmp.replace(path)`）的写法。而我这个服务是被一个带文件安全沙箱的宿主进程拉起来的，`move/replace` 这类操作被拦，`copyfile` 却放行。 改法很小，两处： ``` # 原：写 tmp 再 replace（被沙箱拦截） # 改：直接写入 def _write_json(path, data): path.parent.mkdir(parents=True, exist_ok=True) path.write_text(json.dumps(data, ensure_ascii=False, indent=2) + "\n", encoding="utf-8") ``` ``` # 原：move 优先 # 改：一律 copyfile shutil.copyfile(src, dst) ``` 改完上传正常。**这条经验值得记下来**：如果你把某个服务嵌在沙箱环境里跑，任何「原子写」的写法都可能是隐雷。 ### 3.4 坑二：让它真正常驻 临时启动的服务有个致命问题：宿主会话一断，进程就跟着死，工作台立刻打不开。 正确做法是交给 macOS 的 launchd： ``` RunAtLoad KeepAlive ``` 然后注册： ``` launchctl bootstrap gui/501 ~/Library/LaunchAgents/com.xxx.ai-live-avatar.plist ``` **注意**：`launchctl bootstrap` 这一步在被沙箱管理的进程里执行会被系统拒绝（连一个只做 `touch` 的最小测试服务都注册不上）。必须由本人在终端里手动执行一次。这一步做完，服务就是开机自启 + 崩溃自愈，和任何会话都脱钩了。 --- ## 四、配置角色：形象、人设、衣柜 ### 4.1 形象底图的硬要求 踩过的坑写在这里：**正面平视、双臂摊开的「证件照式」底图效果最差**。合格的底图要满足： - 单人、近景半身、横构图 - 双手自然放在桌面上（手部有落点，动起来才不穿帮） - 有一束柔光只打在脸上，环境压暗 - 机位略偏侧上方，人物微微低头（「正在看弹幕」的姿态） ### 4.2 衣柜：不要让它现场改衣服 这个设计决策很关键。衣柜的正确逻辑是**「预生成整套底图，换装 = 换一张图重开一场」**，而不是让 AI 在直播中实时修改衣服。原因很直接：实时改图会崩脸，而且无法回滚。 所以衣柜是「一套衣服一张图」，每张图从同一张底图出发、只改衣物部分，保证脸完全一致。触发词要提前铺全，包括同义词——观众会喊「卫衣」，也可能喊「毛衣」。 > 图 2：工作台中的角色与 5 套衣柜 ### 4.3 人设写得越具体，接话越像人 人设不是「你是一个温柔的女主播」这种空话。有效的写法包含四层： 1. **身份**：22 岁、刚毕业、白天做新媒体运营、晚上开播 1. **性格与习惯**：反应快、有点小迷糊、养了一只不出镜的猫（猫是话题发动机） 1. **消息类型分派**：告诉它收到「弹幕/指令/礼物/暖场」四种消息分别怎么答 1. **红线**：不擦边、不引导私信、不主动要礼物、被问是否真人就承认 第 4 层别省。这些红线不是道德姿态，是平台的封号条款。 ### 4.4 冷场话题要贴人设 默认话题库是通用的，一听就假。我换了 41 条全部贴着人设写的（改稿改到第八版、便利店关东煮、猫咬数据线），每条都带一个「抛给观众的问题」。冷场不再是事故，反而成了互动钩子。 --- ## 五、开播：安全阀先设，再点按钮 ### 5.1 安全阀 因为按秒计费，第一件事不是开播，是设上限： ``` curl -X POST /api/safety -d '{"max_session_minutes":15,"budget_credits":900}' ``` 900 积分约合 28 元，到顶自动断。**没有这个阀，一次忘记关的试播就能烧掉几百块。** ### 5.2 谁在计费 这一点文档里不显眼但极其重要：**渲染就绪 ≠ 开始计费，画面接入（舞台页入会）才开始计费**。而且浏览器要求一次用户点击才允许播放声音，这个按钮替不了。 所以真实流程是：点开播 → 等渲染就绪 → 打开舞台页 → 点一下解锁 → 她开口 → 开始计费。 > 图 3：舞台页（直播伴侣抓取的就是这个窗口） ### 5.3 第一次试播的账单 66 秒，**3.09 元**。折算下来一分钱没多收，和官方单价对得上。 这 3 块钱买到的是：链路全通（弹幕 → 过滤 → 排队 → LLM → TTS → 渲染 → 画面）+ 换装成功一次 + 计费正常。 --- ## 六、三个必须知道的限制（不然你会以为是 bug） ### 限制一：实时版做不了大动作 我让数字人「跳个舞」，指令被正确识别、返回 `done`，但画面没动。原因是实时数字人模型的动作幅度有物理上限——**比心、挥手、托腮、拿东西可以；跳舞、唱歌、站起来不行。** 正确做法不是硬碰，是在画面上挂一张「说明卡」，明确写「能做/做不到」，管理观众预期。这和产品设计是一个道理：**把边界说清楚，比让人反复试探体验好得多。** ### 限制二：新指令会掐断正在说的话 弹幕连发时，她的语音会一句没说完就断。这是机制而非故障——新指令优先，当前语音被打断。 第一版我把它当 bug 查了半天，后来想通了：这个「打断」是**故意的**，因为真人被插话时也会断。真正要改的是节奏——正式直播每 20 秒处理一条弹幕，节奏对了就感觉不到。 ### 限制三：过滤词库会和你的业务词打架 内置的擦边黑名单里有「睡衣」「吊带」，而我给角色起的衣柜名恰好就叫这两个。结果观众喊「换睡衣」直接被当违规弹幕拦掉——**安全策略误杀了正常功能**。 这类冲突只能靠实测发现。改法是精确摘词：把业务必需的两个词移出黑名单，真擦边的词一个不动。 > 图 4：过滤记录（可以看到拦截原因） --- ## 七、一条合规红线，我主动拆了 项目默认的排队策略里有「**礼物插队**」——送礼的弹幕优先执行。这个设计从运营角度很聪明，但它同时是「诱导打赏」的明确特征，平台侧是有判定的。 我把它改回了纯随机策略： ``` curl -X POST /api/settings -d '{"policy":"random_recent","interval_seconds":20}' ``` 改完并没有削弱玩法：20 秒才执行一条的等待感，本身就是「被翻牌」的稀缺性来源。**稀缺性不需要用礼物来制造，用节奏就够了。** 另外两条底线，做数字人直播的人要提前确认：画面标注 AI 生成、被问就承认；以及真人是否必须在场（这条各平台规则不同，属于开播前必须查清、而不是事后补救的事）。 --- ## 八、产出物与结论 **最终交付**： - 本机常驻的数字人直播服务（launchd 管理，开机自启、崩溃自愈） - 1 个完整角色：人设 760 字 + 5 套衣柜 + 41 条冷场话题 + 说明卡 - 一套可复用的运营配置：过滤词库、排队策略、安全阀 - 一次真实开播账单：66 秒 / 3.09 元 **三个可迁移的结论**： 1. **成本结构决定操作纪律**。按秒计费的东西，第一步永远是设上限，不是点开始。 1. **别跟模型的能力边界较劲**。它能做小动作不能跳舞，那就把「做不到」写进画面说明卡——预期管理比技术攻坚便宜得多。 1. **安全策略一定要拿真实业务词去撞一遍**。黑名单误杀正常功能，是这类系统最隐蔽的坑。 **给想复刻的人一句实话**：环境搭建只占 10% 的时间，剩下 90% 在「配置角色」和「发现限制」上。技术门槛不难，难的是想清楚这个数字人到底在替谁说话。 --- *文中所有 Key、账号、直播间信息均已脱敏。*
