CodeFuse 新开源模型荣登 Big Code 评测榜首!
使用多任务高效微调框架MFTCoder,以DeepSeek-Coder-33b模型为底座,微调获得的CodeFuse-DeepSeek-33b模型在BigCodeModelsLeaderboard代码大模型榜单上以43.58% WinRate成为新晋榜首,同时模型在NLP任务上也取得了很好的表现。本文我们将介绍该模型的得来和使用,包括训练数据、训练超参设置、模型评测效果以及如何获取该模型和基于它继续微调。我们已经在HuggingFace和ModelScope开放了模型下载(下载地址在文末),并同步提供了4bit量化版本供大家直接部署到生产环境。 图1: Big Code Models LeaderBoard榜单截图(截取时间2024-01-30)。BigCodeModelsLeaderboard(https://huggingface.co/spaces/bigcode/bigcode-models-leaderboard)是由HuggingFace BigCode团队维护的代码大模型榜单,是代码大模型领域比较权威的评测榜单。 多任务微调MFT 我们选择以DeepSeek-Code...

