Meta 放大招：发布开源大语言模型 Llama 2，可免费商用
Meta 和微软深度合作，正式推出下一代开源大语言模型Llama 2，并宣布免费提供给研究和商业使用。 Llama 2 论文地址：Llama 2: Open Foundation and Fine-Tuned Chat Models 据介绍，相比于 Llama 1，Llama 2 的训练数据多了 40%，上下文长度是Llama 1 的 2 倍，并采用了分组查询注意力机制。具体来说，Llama 2 预训练模型是在2 万亿的 token上训练的，微调 Chat 模型是在100 万人类标记数据上训练的。 Meta 称 Llama 2 在许多外部基准测试中，包括推理、编码、熟练度和知识测试中，都超过其他模型表现。 Llama 2 包括 Llama 2 和 Llama 2-Chat，包含了 70 亿、130 亿和 700 亿参数 3 个版本，其中 Llama 2-Chat 针对双向对话进行了微调，并且跟 ChatGPT类似， Llama 2-Chat 也经历了预训练阶段 (PT)、指令微调 (SFT) 以及人类反馈强化学习 (RLHF) 三个阶段。 Meta 表示 Llama 2 可免费用于研究...
