首页 文章 精选 留言 我的

精选列表

搜索[开源工具],共10000篇文章
优秀的个人博客,低调大师

快手发布开源多模态大模型 Kwai Keye-VL-1.5

快手近日正式发布多模态大语言模型Keye-VL-1.5-8B。 https://huggingface.co/Kwai-Keye/Keye-VL-1_5-8B 据介绍,与之前的版本相比,Keye-VL-1.5的综合性能实现显著提升,尤其在基础视觉理解能力方面,包括视觉元素识别、推理能力以及对时序信息的理—表现尤为突出。Keye-VL-1.5在同等规模的模型中表现出色,甚至超越了一些闭源模型如GPT-4o。 Keye-VL-1.5采用四阶段渐进式训练流水线,以系统化方式提升模型性能。在视觉编码器预训练阶段,使用SigLIP-400M权重初始化ViT,并通过SigLIP对比损失持续预训练以适应内部数据分布。 第一阶段重点优化投影MLP层,实现跨模态特征的稳固对齐;第二阶段解冻全部参数进行端到端多任务预训练,显著增强基础视觉理解能力;第三阶段进行退火训练,利用高质量数据微调模型,弥补上一阶段中高质量样本接触不足的问题,同时将序列长度扩展至128K、调整RoPE逆频率配置,并引入长视频、长文本和大尺度图像等长上下文数据。 最终,通过同质-异质融合技术对不同数据混合比例下的模型权重进行平均,减少固定数据比例带来的内在偏差,在保持多样化能力的同时提升模型的鲁棒性。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册