OpenAI CEO:巨型 AI 模型时代已结束
OpenAI 首席执行官 Sam Altman 在麻省理工学院日前举办的Imagination in Action活动中表示,孕育 ChatGPT 聊天机器人的研究战略已经结束;且行业未来的进步方向尚未清晰。 Altman 并未预测将来可能出现的研究策略或技术。但他认为,进一步的发展不会来自于将模型继续做大。“我认为我们正处于将模型做大这一时代的尽头。我们将以其他方式使它们变得更好。” 一些原因可能在于,成本的飙升和收益的递减遏制了扩展。有数据表明,ChatGPT 需要超过 10000 个 GPU 来进行训练,保持运行还需要更多资源。目前,GPU 市场主要由Nvidia 主导;而该公司最新的专为 AI 和高性能计算 (HPC) 设计的 H100 GPU,每件价格高达 30603 美元。 OpenAI 在描述 GPT-4 的一篇文章中指出,预估扩大模型规模的回报越来越少。Altman 也透露,训练 GPT-4 花费的金额已经超过了 1 亿美元;此外,公司在数据中心的建造数量和速度方面也存在有物理限制。 图源:维基百科 自 OpenAI 于 11 月推出 ChatGPT 以来,一些科技公司...


