MiniMax 开源新一代 01 系列模型
MiniMax 发布并开源了 MiniMax-01 全新系列模型,其中包含:基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。
根据介绍,MiniMax-01系列模型首次大规模实现线性注意力机制,传统Transformer架构不再是唯一的选择。这个模型的参数量高达4560亿,其中单次激活459亿。模型综合性能比肩海外顶尖模型,同时能够高效处理全球最长400万token的上下文,是GPT-4o的32倍,Claude-3.5-Sonnet的20倍。
目前,官方给出的标准定价是输入token 1元/百万token,输出token 8元/百万token。
模型结构图如下:
MiniMax 方面称,基于业界主流的文本和多模态理解测评,该模型在大多数任务上追平了海外公认最先进的两个模型,GPT-4o-1120以及Claude-3.5-Sonnet-1022。
在长文任务上,对比了之前长文最好的模型Google的Gemini。结果显示,随着输入长度变长,MiniMax-Text-01是性能衰减最慢的模型,显著优于Google Gemini。
更多详情可查看官方公告。


