大模型在无损压缩方面超越 PNG 和 FLAC
Google DeepMind 和 Meta 的研究人员发表论文《Language Modeling Is Compression》,他们发现 DeepMind 的大语言模型 Chinchilla 70B 在图像和音频的无损压缩上超过了 PNG 和 FLAC。
论文提到,Chinchilla 70B 能将 ImageNet 图像数据库中的图像无损压缩到原始大小 43.4%,超过了 PNG 算法的 58.5%。
Chinchilla 能将 LibriSpeech 音频数据集中的样本无损压缩到原始大小 16.4%,超过 FLAC 算法的 30.3%。
据介绍,Chinchilla 70B 主要是训练用于处理文本,但它在压缩其它类型的数据集上的效果也表现优异,甚至优于专门的算法。
下面的例子比较了 gzip 和 Chinchilla 在示例文本上的生成效果。可以看到,gzip 的输出没有可读性。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Visual Studio Code 1.83
Visual Studio Code 1.83 已发布。 主要变化 改进可访问性- 屏幕阅读器支持 PR 注释 优化 Command Palette 搜索- 引入新的 "similar commands" 列表,用于帮助发现命令 为配置文件添加自定义图标- 方便识别活跃的配置文件 引入紧凑的编辑器 tab 选项卡高度- 增大了编辑器显示区域 专用的固定编辑器行-新的编辑器选项卡行支持通过拖放进行固定/取消固定 Go to Symbol in notebooks-快速导航到 notebooks 中的代码符号 升级 Python 调试器- 支持配置进入system/library 还是只进入代码 Preview: GitHub Copilot- 基于当前框架和项目约定的测试生成 详情。
- 下一篇
Paozhu C++ Web Framework 1.4.6 发布
Paozhu(炮竹🧨)是一个全面、快速的C++ web framework 开发框架,集成C++ ORM,开发速度跟脚本语言一样,日写1000行业务代码没有压力,框架集成了WebServer,自己原生解析HTTP/1、HTTP/2、JSON协议 Paozhu C++ Web Framework 1.4.6发布 新功能 添加 对httpclient 协程、异步、同步功能,可以应用于数据采集. 目前httpclient使用了线程池功能,配合协程可以做到几千并发采集。 具体演示例子已经添加到controller/src 目录。 //@urlpath(null,testcowaitclient2) std::string testhttpclient_cowait_urls(std::shared_ptr peer) { httppeer &client = peer->getpeer(); client << "hello world! test testhttpclient_cowait_body"; http::client_context ...
相关文章
文章评论
共有0条评论来说两句吧...