聆心智能团队开发了用于定制角色进行对话交互的 CharacterGLM，以 ChatGLM 模型为底座，具有 6B、12B、66B的参数量。聆心智能将对社会开放 12B 和 66B 模型的 API 访问，并将 CharacterGLM-6B 模型进行开源。

该团队采用人工交互的方式评测 CharacterGLM 与业界最强的竞争对手（以下简称 JP）的性能。定制了数十个角色，类型分布于名人类、生活类、游戏影音类和虚拟恋爱类；要求标注者与每个角色至少交互20轮，每轮对话由两个模型生成回复。标注者选择胜出的回复继续展开对话，若回复偏好相同则随机选择。

按角色类别统计两个模型的win/tie/lose比率。结果如表1所示，CharacterGLM在大多数类别上的表现均优于JP。

为了衡量CharacterGLM在不同话题下的表现，其进一步将对话话题限定在常见的闲聊、访谈和恋爱场景下进行交互测试，评测方式与上面相同，结果如表2所示，CharacterGLM在闲聊和恋爱场景下与JP持平，但在访谈场景下显著优于JP。

以及进一步分析了CharacterGLM在不同轮次范围内的角色表现，结果如表3所示，CharacterGLM在对话的前期略次于JP，但随着对话的推进，CharacterGLM的优势则逐渐凸显。

下面展示了从交互测评数据中采样的名人类、生活类、游戏影音类和虚拟恋爱类角色的交互样例。

名人类角色

生活类角色

游戏影音类角色

虚拟恋爱类角色