首页 文章 精选 留言 我的

文章列表

共 185284 篇
LLM 推理优化探微 (2) :Transformer 模型 KV 缓存技术详解

LLM 推理优化探微 (2) :Transformer 模型 KV 缓存技术详解

编者按:随着 LLM 赋能越来越多需要实时决策和响应的应用场景,以及用户体验不佳、成本过高、资源受限等问题的出现,大模型高效推理已成为一个重要的研究课题。为此,Baihai IDP 推出 Pierre Lienhart 的系列文章,从多个维度全面剖析 Transformer 大语言模型的推理过程,以期帮助读者对这个技术难点建立系统的理解,并在实践中做出正确的...

OpenAI 回应被起诉:马斯克曾意图获得公司“绝对控制权”

OpenAI 回应被起诉:马斯克曾意图获得公司“绝对控制权”

针对被联合创始人和前赞助人埃隆·马斯克起诉一事,OpenAI 在其网站上发布博文作出了回应,称马斯克曾一度希望通过与特斯拉合并来“绝对控制”该公司,包括“多数股权、初始董事会控制权以及担任首席执行官”。 “在我们讨论营利性结构以推进使命时,Elon 希望我们与特斯拉合并,否则他就想要完全控制权。埃隆离开了 OpenAI,他说需要有一个能与 Google/De...

从 HPC 到 AI:探索文件系统的发展及性能评估

从 HPC 到 AI:探索文件系统的发展及性能评估

随着 AI 技术的迅速发展,模型规模和复杂度以及待处理数据量都在急剧上升,这些趋势使得高性能计算(HPC)变得越来越必要。HPC 通过集成强大的计算资源,比如 GPU 和 CPU 集群,提供了处理和分析大规模数据所需的算力。 然而,这也带来了新的挑战,尤其是在存储系统方面,包括如何有效处理大量数据、确保数据访问的高效性以及如何控制成本和运维管理。分布式文件系...

如何基于容器网络流量指标进行弹性伸缩

如何基于容器网络流量指标进行弹性伸缩

本文分享自华为云社区《【自定义指标HPA】基于容器网络流量指标进行弹性伸缩》,作者: 可以交个朋友。 一、背景 业务程序非CPU、memeory敏感类业务,希望可以基于流量指标进行HPA弹性伸缩,但是大部分程序并没有集成Prometheus SDK相关代码进行插桩。此时可以通过cAdvisor提供的容器网络流量指标实现业务峰谷期间的弹性扩缩容。 二、方案介绍...

大模型在产品原型生成中的应用实践

大模型在产品原型生成中的应用实践

一、背景 在 B 端研发过程中,产品原型在产品需求文档中起着重要的作用。然而,在实际的开发过程中,我们发现了一些问题。首先,在需求评审阶段,有些产品需求文档可能缺少原型或者原型与研发团队的规范不一致,这需要研发同学与产品同学沟通补充原型图或者按照研发团队的规范进行绘制,这增加了产品同学和研发团队之间的沟通成本以及增加了产品同学的学习成本。其次,在业务验收阶段...

时序数据库入门 | 时序数据库的特点及与传统数据库的区别详解

时序数据库入门 | 时序数据库的特点及与传统数据库的区别详解

在过去的几年里,物联网(IoT)的日益普及和对实时数据的需求导致时序数据库(TSDB)的采用量大幅增长。根据 DB-Engines 的排名,TSDB 的普及率超过了其他任何类型的数据库,仅次于 Graph DBMS。 作为存储、管理和分析时序数据的重要工具,对时序数据库 (TSDB) 的需求在未来也很可能会持续上升。如果你对此还不太了解,本文将全面地介绍什么...

倒了一个 Yuzu,还有千千万万个“转世”开源模拟器

倒了一个 Yuzu,还有千千万万个“转世”开源模拟器

开源 Switch 模拟器 Yuzu 昨天突然的“滑跪”着实让人大跌眼镜——宣布项目关闭、删除托管在 GitHub 的代码仓库,并向任天堂支付 240 万美元和解诉讼。 然而这并不意味“开源模拟器”就此销声匿迹——号称是 Yuzu 转世的 "Suyu" 直接在 GitHub 挑衅任天堂: 致任天堂法律团队: 你无法击败我们,即使你们把我打倒,也会有更多的人来...

Yzncms v1.4.1 已经发布,内容管理系统

Yzncms v1.4.1 已经发布,内容管理系统

Yzncms v1.4.1 已经发布,内容管理系统 此版本更新内容包括: 【新增】后台清理缓存添加钩子 【新增】后台退出添加钩子 【新增】后台登录支持失败次数禁止登录 【优化】允许插件install.sql报错继续执行 【优化】后台登录有效会话时长 【优化】表格操作列的text和title支持传入方法 【优化】更新layui2.9.7 【优化】compose...

ChatGPT 新增朗读功能,支持 37 种语言、5 种声音

ChatGPT 新增朗读功能,支持 37 种语言、5 种声音

OpenAI 宣布为 ChatGPT 推出了名为“朗读”( ReadAloud)的新功能。不仅支持 37 种语言,还可以自动检测文本语言并进行朗读。 与"朗读"同时推出的还有一个新的设置菜单选项,让你可以对播报的语音进行选择。该功能可以让 ChatGPT 用五种不同的声音朗读其回复,旨在为用户提供更加便捷的交互体验。目前,“朗读”功能已上线 ChatGPT ...

苏州科达加入 openKylin,为社区提供领先的视讯系统解决方案

苏州科达加入 openKylin,为社区提供领先的视讯系统解决方案

近日,苏州科达科技股份有限公司(以下简称“苏州科达”)签署了openKylin社区CLA(Contributor License Agreement贡献者许可协议),正式加入openKylin 开源社区。 苏州科达成立于1995年,是领先的视讯与安防产品及解决方案提供商,致力于以视频会议、视频监控以及丰富的视频应用解决方案帮助各类政府及企业客户解决可视化沟通...

开源的 Sora 复现方案,成本降低近一半!

开源的 Sora 复现方案,成本降低近一半!

近日,开发 ChatGPT 的 OpenAI 公司又放出王炸 Sora,一个可以根据文本生成视频的 AI 模型。 上图就是 OpenAI 公布的 Sora 生成的视频片段,可以毫不夸张地说 Sora 直接将视频生成技术推向了新的高度,这也标志着人工智能视频生成技术迈入了新的时代。此项技术,可以广泛应用于电影、动画、游戏、广告等领域,为内容创作者提供更加便捷、...

Simple Admin Go 语言分布式后台管理系统 v1.3.10 发布

Simple Admin Go 语言分布式后台管理系统 v1.3.10 发布

Simple Admin - Go 语言分布式后台管理系统 v1.3.10 更新 项目介绍 Simple Admin 是一个开箱即用的分布式微服务后端管理系统,基于 go-zero 开发,为开发中大型后台提供了丰富的功能,支持三端代码生成。 官方自带多种扩展,助力中小企业快速上云,快速迭代。适合用于微服务学习和商用,开源免费。 Simple Admin Co...

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册