CodeFuse-VLM 开源,支持多模态多任务预训练 / 微调
CodeFuse-MFT-VLM 项目地址: https://github.com/codefuse-ai/CodeFuse-MFT-VLM CodeFuse-VLM-14B模型地址: https://modelscope.cn/models/ss41979310/CodeFuse-VLM-14B/files CodeFuse-VLM框架简介 随着huggingface开源社区的不断更新,会有更多的vision encoder 和 LLM 底座发布,这些vision encoder 和 LLM底座都有各自的强项,例如 code-llama 适合生成代码类任务,但是不适合生成中文类的任务,因此用户常常需要根据vision encoder和LLM的特长来搭建自己的多模态大语言模型。针对多模态大语言模型种类繁多的落地场景,我们搭建了CodeFuse-VLM 框架,支持多种视觉模型和语言大模型,使得MFT-VLM可以适应不同种类的任务。 CodeFuse-VLM 支持多种视觉达模型:CLIP,CLIP-336px,Chinese Clip,Chinese Clip-336px,Qwen C...
