豆包大模型日均 tokens 使用量超 5000 亿
在 2024火山引擎 AI 创新巡展·成都站上,火山引擎方面透露,截至今年7月,豆包大模型日均 tokens 使用量超过5000亿。
火山引擎在今年5月发布豆包大模型,提供包含大语言模型、语音模型、视觉模型的豆包模型家族,以满足不同场景的关键需求。自今年5月15日豆包大模型发布的2个月内,平均每家企业客户日均 tokens 使用量增长了22倍。
火山引擎副总裁张鑫在会上介绍,在字节内部,有50多个业务在使用豆包大模型,覆盖了协同办公、数据分析、文案创作、辅助编程、内容审核、客服、游戏NPC、角色对话、教育等各种场景,基于豆包大模型打造的新技术引擎正在加速业务创新。
此外,豆包大模型的外部客户已覆盖手机、汽车、金融、消费、互娱等30多个行业。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
OpenAI 进军 AI 搜索大战 —— 开始小范围内测 SearchGPT
7 月 25 日,OpenAI 突然在 X宣布,正在测试其备受期待的 AI 搜索市场入驻产品「SearchGPT 」—— 一款由 GPT-4 系列模型驱动、能实时访问全网信息,附带清晰来源链接的搜索引擎。 官方介绍称, SearchGPT 只是其新开发 AI 搜索功能的 “临时原型”。初期仅对小部分用户和出版商开放,其他有人若有兴趣尝试可以加入等候名单。未来这些功能的最佳部分将被直接集成到 ChatGPT 中。 从官方发布的演示来看,与现有的各类 AI 搜索相比,SearchGPT 并没有在交互上有特别明显的颠覆设计。整体界面与Perplexity差不多。用户在对话框中输入查询,SearchGPT实时搜索网络后总结出一份结构化的答案,包含图片和视频信息,同时列出相关信息来源。用户可以继续追问或在侧边栏中探索更多相关搜索。 Join waitlist:http://chatgpt.com/search
- 下一篇
减少 95% 资源的向量搜索 | 使用云搜索的 DiskANN
当前尖端的向量近邻搜索算法,主要以图搜索算法为主,此类算法为了能够最大化搜索的速度与准确度,需要将对应的索引结构和原始数据存放在内存中,显然这不仅大大提高了成本,还限制了数据集的大小。 例如在当前主流的内存型 HNSW 算法下, 业界常用的内存估算方式是:向量个数 * 4 * (向量维度 + 12)。那么 在 DEEP 10M(96维)的 1 千万数据就需要内存达到 4GB 以上,但是 通过 DiskANN 优化后,仅需要 70 MB 的内存就可以对海量数据高效的进行检索;在 MS-MARCO(1024 维)的 1.38 亿条记录里,需要内存更是高达 534GB,这样检索 1.38 亿的数据需要 12 个 64GB 的节点。 按照上面的估算公式,到了 10 亿级别就需要大约 100 个节点,到 100 亿级别需要的节点数为 1000 个左右,这个规模的服务在资源成本和稳定性上都面临了极大的挑战。我们在服务客户的过程中,发现相比于低延迟检索需求,大部分客户更关注成本和稳定性,因此,火山引擎云搜索团队在原先已经支持的 HNSW、IVF 等低延迟的算法引擎的基础上,引入了内存和磁盘更好平...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8
- Mario游戏-低调大师作品
- Linux系统CentOS6、CentOS7手动修改IP地址
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题