马斯克开源 Grok

马斯克旗下的 xAI 正式宣布在 Apache 2.0 协议下开源了大模型 Grok-1 的基本模型权重和网络架构。其参数量达到 3140 亿，远超 Meta 的 Llama 2 的 700 亿、Mistral 8x7B 的 120 亿以及 OpenAI GPT-3.5 的 1750 亿；这也是迄今参数量最大的开源大语言模型。

根据介绍，Grok 基础模型基于大量文本数据进行训练，未针对任何特定任务进行微调。其架构于 2023 年 10 月使用 JAX 和 Rust 之上的自定义训练堆栈开发，融合了神经网络设计的创新方法。该模型将 25% 的权重用于给定 token，旨在提高效率和有效性。

2023 年 11 月，马斯克旗下的人工智能公司 xAI 发布了首款 AI 聊天产品，取名为 “Grok”。Grok 的名字来自罗伯特・安森・海因莱因的科幻小说《异乡异客》，意思是完全理解某事或某人。Grok 具备以下特点：

• 「全面的知识」：Grok 在大量文本和代码数据集上进行了训练，使其能够从中汲取广泛的知识。
• 「实时访问信息」：Grok 可以通过 X 平台获取实时信息，这是相对于其他大语言模型的一大优势。
• 「幽默」：Grok 被设计成带有幽默感，可以回答一些尖锐的问题，这使得它与用户的互动更具吸引力。
• 「理解复杂概念的能力」：Grok 能够理解复杂的概念并以清晰简洁的方式解释它们。
• 「生成创意内容的能力」：Grok 可以生成不同类型的创意内容，例如诗歌、代码、图像和音乐作品。