笔记列表-低调大师优秀个人博客

Java分享

专注最优质的分享

热门搜索:

HarmonyOS NEXT
ArkTS
Ai
ChatGPT
文心一言
ChatGLM
Docker
K8s
Kubesphere
SpringCloud
Nacos

您现在的位置是：首页 > 文章列表

大语言模型推理优化技术综述

编者按：如何将 LLM 的推理过程从"烧钱的无底洞"转变为"高性能的生产力引擎"？本文深入剖析了提升 LLM 推理效率的五大核心技术：巧妙的 KV 缓存管理、Query-sparsity attention（QUEST）、推测解码（使用 draft model 加速生成过程）、权重调度（通过 Flexgen 实现跨设备资源分配）以及系统级优化（FastSe...

时间：2025-05-28点击：37收藏
红帽车用操作系统即将全面上市

红帽宣布在汽车行业取得重大突破：红帽车用操作系统已通过ISO 26262第2版（2018年版）ASIL-B级安全标准认证，达到该标准中独立于环境的安全要素（SEooC）功能安全认证。该持续认证的开源操作系统平台预计于2025年第三季度推出，为汽车制造商和供应商带来安全认证的Linux。红帽车用操作系统是一款经过安全认证、基于Linux的操作系统，可满足...

时间：2025-05-28点击：228收藏
JuiceFS 企业版 5.2：迈入千亿文件时代，稳定性与性能再升级

JuiceFS 企业版 5.2 版本近日发布，文件管理规模迈入千亿级。此次升级重点提升了超大规模集群的稳定性，优化了分布式缓存的网络性能，并增强了系统的易用性与安全性，旨在支持高并发访问等复杂的高性能应用场景。 JuiceFS 企业版专为高性能场景设计，自 2019 年起开始应用于机器学习领域，现已成为 AI 行业核心基础设施之一。我们的商业客户涵盖大模型公...

时间：2025-05-28点击：29收藏
ProxyPin V1.1.9 已经发布，全平台 HTTP 抓包工具

ProxyPin V1.1.9 已经发布，全平台 HTTP 抓包工具此版本更新内容包括： iOS App Store：https://apps.apple.com/app/proxypin/id6450932949 QQ群交流: https://qm.qq.com/q/pE3U9IAkXC 证书安装流程介绍：https://www.bilibili.com...

时间：2025-05-28点击：26收藏
Claude 移动端版本已上线“语音模式”

Anthropic宣布为其 Claude 聊天机器人上线语音模式 (voice mode)，作为 Beta 版在 iOS 和 Android 移动应用上逐步向英语用户推出，计划在未来几周内覆盖所有订阅计划。这一功能由 Claude Sonnet 4 模型驱动，旨在提供更自然的交互体验，允许用户通过语音与 Claude 进行完整对话，尤其适合双手繁忙的场景，...

时间：2025-05-28点击：38收藏
Mistral AI 发布 Agents API，内置代码执行、网络搜索等工具

Mistral AI 宣布推出 Agents API，其内置代码执行、网络搜索等工具，支持跨对话持久记忆和智能体编排。官方公告写道：传统语言模型擅长生成文本，但在执行操作或保持上下文方面存在局限。Mistral 的新 Agents API 通过将 Mistral 强大的语言模型与以下功能结合，解决了这些局限性：内置的代码执行、网络搜索、图像生成和 MC...

时间：2025-05-28点击：33收藏
多模态大模型视觉推理能力评估：o3 仅得 25.8% 分数

清华大学、腾讯混元、斯坦福大学及卡耐基梅隆大学的研究团队近日联合发布了一项新评估基准 ——RBench-V，专门针对多模态大模型的视觉推理能力进行测试。 RBench-V 基准测试包含803道题目，涉及多个领域，包括几何与图论、力学与电磁学、多目标识别和路径规划等。与以往只要求文字回答的评估不同，这次评测特别要求模型生成或修改图像内容，以支持推理过程。这意味...

时间：2025-05-28点击：36收藏
秘塔AI搜索推出全新“极速”模型，响应速度最高400 tokens/秒

秘塔AI搜索推出了全新“极速”模型，新版模型不仅更快，准确率更高，逻辑也更清晰。据介绍，秘塔AI团队通过在GPU上进行kernel fusion，以及在CPU上进行动态编译优化，在单张H800 GPU上实现了最高400 tokens/秒的响应速度，大部分问题2秒内就能答完。用户可通过测速站点kuai.metaso.cn体验实际效果，但团队提示模型规模较小...

时间：2025-05-28点击：46收藏
Trae IDE 海外版上线付费订阅服务，Pro 版每月 10 美金

字节跳动旗下 AI IDE ——Trae IDE 已针对海外版上线付费订阅服务，具体权益如下： ✅ 不再“排队等待”——更快地访问像 Claude Sonnet 4 这样的顶级模型 ✅ 每月 600 次快速请求 Premium 模型 ✅ 无限自动补全和慢速请求 ✅ 额外快速请求按需付费 ✅ 新用户首月仅需 3 美元除了上线付费订阅服务，Trae IDE 还...

时间：2025-05-28点击：83收藏
Salesforce 斥资 80 亿美元收购 Informatica

全球第一 CRM 平台 Salesforce 宣布斥资 80 亿美元全资收购企业级 AI 驱动云端数据管理公司 Informatica。Salesforce 将向 Informatica A 类和 B-1 类普通股股东支付每股 25 美元。此次收购是 Salesforce 在云计算领域的重要布局，通过收购 Informatica，Salesforce 将进...

时间：2025-05-28点击：41收藏
谷歌回应在 AI 搜索植入广告：用户觉得有帮助

谷歌搜索正在其AI模式(AI Mode)和AI概览(AI Overviews)功能中添加广告，谷歌声称这些广告是“有帮助的”。在上周的谷歌营销活动Google Marketing Live上，谷歌确认已经开始在美国推出这些广告，并声称它们为客户提供了新的“机会”。据一些用户反映，这些广告出现在AI概览的下方，紧随其后的是传统的蓝色链接。随后在媒体发现的一...

时间：2025-05-28点击：42收藏
TimescaleDB 2.20.1 发布，基于 PostgreSQL 的时序数据库

TimescaleDB 是一个开源数据库，旨在使 SQL 可扩展到时间序列数据，基于 PostgreSQL 构建的，并打包为 PostgreSQL 扩展程序，提供跨时间和空间的自动分区，以及完整的 SQL 支持。 TimescaleDB 2.20.1 现已发布，此版本包含自2.20.0版本以来的性能改进和错误修复。具体更新内容如下： Features #81...

时间：2025-05-28点击：32收藏

上页 1 ... 70 71 72 ... 1000 下页

点击排行

推荐阅读

最新文章