马斯克旗下 xAI 发布首个 AI 大模型产品 Grok
马斯克旗下 xAI 团队发布其首个 AI 大模型产品 —— Grok；目前只训练了 2 个月左右的时间，因此尚处于非常早期的测试阶段。
Grok 是一款仿照《银河系漫游指南》设计的人工智能，可以回答几乎任何问题，更难能可贵的是，它甚至可以建议你要问什么问题！
Grok 在回答问题时略带诙谐和反叛，因此如果你讨厌幽默，请不要使用它！
Grok 的一个独特且根本的优势是它可以通过 𝕏 平台实时了解世界。它还能回答被大多数其他人工智能系统拒绝的尖锐问题。
Grok 基于 xAI 团队于 11 月发布的自研大语言模型 Grok-1。在 xAI 宣布成立后，项目团队就用 330 亿个参数训练了一个 LLM 原型（Grok-0），这一早期模型自称与 LLaMA 2 (70B) 能力相当，但只使用了一半的训练资源。
Grok-1 则在此基础上改进了推理和编码能力。Grok-1 是一个基于 Transformer 的自回归模型，经过预先训练以执行 next-token 预测。然后利用人类和早期 Grok-0 模型的广泛反馈对该模型进行微调，初始 Grok-1 的上下文长度为 8192 个 token。
一些评测结果如下所示：
Grok-1 也存在一些局限性，该语言模型不具备独立搜索网络的能力，官方建议在 Grok 中部署搜索工具和数据库可以增强模型的能力和真实性。并警告称，尽管可以访问外部信息源，但该模型仍会产生幻觉。
为了创建 Grok，xAI 团队还构建了一个基于 Kubernetes、Rust 和 JAX 的自定义训练和推理堆栈。
“Rust 已被证明是构建可扩展、可靠且可维护的基础架构的理想选择。它提供高性能、丰富的生态系统，并防止分布式系统中通常会发现的大多数错误。鉴于我们的团队规模较小，基础架构的可靠性至关重要，否则维护就会缺乏创新。Rust 让我们充满信心，任何代码修改或重构都可能产生可以在最少监督的情况下运行数月的工作程序。”
目前 Grok 仅面向少数美国用户开放测试。
相关阅读：
