首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/370959

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HuggingFace 开源 FinePDFs 与 FineVision 数据集

Hugging Face 开源了两个大规模数据集 FinePDFs 和 FineVision,前者是目前最大的公开 PDF 语料库,后者则专为视觉-语言模型训练设计,旨在显著提升开源模型的能力。 https://huggingface.co/datasets/HuggingFaceFW/finepdfs https://huggingface.co/datasets/HuggingFaceM4/FineVision FinePDFs 是目前最大的公开 PDF 语料库,完全由 PDF 文件构建,包含约 3 万亿 tokens,覆盖 4.75 亿份文档、1733 种语言,数据量 3.65TB。 语料来自 105 个 CommonCrawl 快照(2013 夏—2025 年 2 月),经 datatrove 库去重、过滤与 PII 匿名化,采用 ODC-By 1.0 许可证。文档平均长度接近 HTML 数据集的两倍,长于 10万 字符的样本显著,可用于提升开源 LLM 的长上下文能力。 数据集已按语言-脚本对划分,978 种语言超 100万 tokens,66 种语言超 10 亿 token...

腾讯混元翻译模型 Hunyuan-MT-7B 登顶开源热榜

腾讯混元宣布,混元翻译模型Hunyuan-MT-7B登顶 Hugging Face模型趋势榜第一位。官方表示,该模型和混元世界模型家族最新成员HunyunWorld-Voyager一起,拿下前三中的两席。 Hunyuan-MT-7B于9月1日开源,其总参数量仅7B,支持33个语种、5种民汉语言/方言互译,是一个能力全面的轻量级翻译模型。 在8月底结束的国际计算语言学协会(ACL)WMT2025比赛中,Hunyuan-MT-7B(参赛名称:Shy-hunyuan-MT)拿下了全部 31个语种比赛中的30个第1名,处于绝对领先地位。 这31个语种除了中文、英语、日语等常见语种,也包含捷克语、马拉地语、爱沙尼亚语、冰岛语等小语种。 腾讯混元表示,在业界常用的翻译能力测评数据集Flores200上,腾讯混元Hunyuan-MT-7B模型也有卓越的效果表现,明显领先于同尺寸模型,与超大尺寸模型效果对比也不逊色。 针对翻译场景,腾讯混元提出了一个完整的翻译模型训练范式,覆盖从预训练、到CPT再到监督调参、翻译强化和集成强化全链条,使得模型的翻译效果达到业界最优。

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。