Tilde AI 发布开源 TildeOpen LLM
Latvian 语言技术公司 Tilde 发布了 TildeOpen LLM，这是一个开源的基础大语言模型（LLM），旨在支持欧洲语言，特别是那些较少被代表的国家和地区语言。这一举措标志着欧盟在语言公平和数字主权方面迈出了重要的一步。 TildeOpen LLM 是一个拥有300亿参数的稠密解码器模型，采用了 CC-BY-4.0的宽松许可证，能够支持从拉脱维亚语、立陶宛语到乌克兰语、土耳其语等多种语言。该模型的训练是在欧洲的超级计算机 LUMI（芬兰）和 JUPITER 上进行的，使用了欧盟委员会的大型人工智能大奖挑战赛所提供的200万 GPU 小时的计算资源。 在技术细节方面，TildeOpen LLM 通过受 EleutherAI 启发的 GPT-NeoX 脚本进行训练，共进行了45万次更新，使用了约2万亿个令牌。其训练过程包含三阶段采样：首先在语言间均匀分布，其次是对高数据量语言的自然分布进行增强，最后再进行均匀的扫查以确保平衡。模型的超参数包括60层、嵌入维度6144、48个注意力头、8192-token 的上下文窗口，以及使用 SwiGLU 激活、RoPE 位置编码和 RMS...
