搜索[分布式推理]结果-低调大师优秀个人博客

精选列表

搜索[分布式推理]，共10005篇文章

搞懂分布式技术17：浅析分布式事务

本文首先会为大家梳理分布式事务的基本概念和理论基础，然后介绍几种目前常用的分布式事务解决方案。废话不多说，那就开始吧～什么是事务？

2018-06-23

分布式秒杀

的限流可以参考高并发之Nginx的限流我们这里在秒杀的前一天将所有的批准参加秒杀的商家商品数据导入到redis的商品队列中，这里我们使用当当的elastic-job来实现，关于elastic-job的使用，可以参考分布式调度

2019-10-09

应用发展历程： 1、第一版应用图1-1 第二版单机负载越来越高，数据库服务器和应用服务器分离图1-2 第三版应用服务器做集群图1-3 当做到这个部分的时候，就会出现一个问题，应用服务器集群的session共享问题解决session跨域共享问题： 1、session sticky 2、session replication 3、session集中存储存储在DB、存储在缓存服务器中（redis） 4、cookie（主流） access_token(userid/token/timestamp) soa架构和微服务架构如何做请求转发第四版数据库的高性能操作图1-4 1、数据库读写分离怎么操作 2、数据库的数据同步 3、数据库路由mycat 电商平台最多的操作：搜索商品图1-5 问题： 1、搜索引擎的索引数据怎么去做同步，实时增量同步？还是定时全量同步？第六版解决访问量持续增高，引入缓存机制用户量是没有上限的缓存、限流、降级图1-6 第8️版本数据库的水平/垂直拆分图1-7 第9版本

2018-08-06

MongoDB分布式

MongoDB 复制集架构，基于MongoDB复制，构造出的分布式数据库解决方案： MongoDB提供了和MySQL Cluster类似的架构，在configre server、mongos、mongo

2017-11-11

分布式账本

互联网领域最知名的“预言家”凯文·凯利在《失控》一书中指出，未来世界的趋势是去中心化的。亚当·斯密的“看不见的手”就是对市场去中心化本质的一个很好的概括。点与点之间直线距离最短，人与人之间沟通的最佳模式也应该是直接沟通，无论从哪个方面切入，去中心化的市场本质都是无可辩驳的。我们可能正面临一场革命的晨曦，这场革命始于一种新的、边缘的互联网经济。世界经济论坛（即达沃斯论坛）创始人克劳斯·施瓦布（Klaus Schwab）说，自蒸汽机、电和计算机发明以来，人们又迎来了第四次工业革命——数字革命，而区块链技术就是第四次工业革命的成果。区块链作为下一代的可信互联网，必将颠覆所有在其之上的业务，让整个基于互联网的企业、生态、产业链彻底做一次变革创新。马云曾经说过：“很多人还没搞清楚什么是PC 互联网，移动互联网来了，我们还没搞清楚移动互联的时

2016-11-19

elasticsearch 分布式

本次搭建es同时实践了两种模式——单机模式和分布式模式。条件允许的话，可以在多台机器上配置es节点，如果你机器性能有限，那么可以在一台虚拟机上完成多节点的配置。如图，是本次3个节点的分布。

2016-07-13

TokenSpeed：面向智能体工作负载的极速大模型推理引擎

当大语言模型开始从一次性问答走向持续规划、工具调用、多轮执行与复杂协作，推理系统面对的问题也随之改变。

2026-10-16

Lightmatter Passage 光互联重塑高性能 AI 训练与推理底座

这份是 Lightmatter 在 Hot Interconnects 2026（HotI2026）发布的报告《The Interconnect Foundation for High‑Performance AI Training and Inference》，核心论证：光子互联是突破 AI 算力瓶颈的核心基础设施，详细介绍了 Passage 光互联方案的性能收益、破解光纤与激光瓶颈的两大核心技术（BiDi、VLSP），同时披露了产品路线图与开放产业生态布局。

2026-09-16

光子互连如何撑起百万 Token 大模型推理？| Lightmatter HotI报告

该文档是 Lightmatter 在 Hot Interconnects 2026 会议上发布的另外一份技术报告，聚焦高基数光子互连（CPO 共封装光学）如何解决大模型推理 Prefill阶段的通信瓶颈

2026-09-16

基于DeepSpeed和PyTorch的大模型微调与推理优化实践

业界主流解法是分布式训练 + 混合精度 + 梯度检查点 + 模型并行，但将这些技术组合成一套稳定、可扩展的代码，远比调用model.fit()复杂得多。

2026-08-13

驯服"Token黑洞"：Agent成本工程、推理优化与ROI量化实战

系统月度Token支出超出预算200%以上，其中60%的消耗来自低价值或冗余调用；68%的团队无法将Agent成本归因到具体业务场景，导致"花了钱不知道花在哪、值不值"；55%的生产Agent未做任何推理优化

2026-08-12

字节发布 Seed Prover 1.5：全新 Agentic 架构，更强数学推理表现

字节跳动 Seed 团队推出新一代形式化数学推理专用模型 Seed Prover 1.5，通过大规模的 Agentic RL 训练，其推理能力和推理效率取得显著进步。

2025-12-24

使用 eBPF 实现 LLM 推理服务的全栈可观测性

千亿参数LLM推理服务、AI智能体点复杂性回到千亿参数模型的推理场景。如图所示，左侧示意在千亿参数规模下，我们往往不得不采用分布式推理服务。

2025-12-10

vLLM-Omni 上线：多模态推理更简单、更快、更省

vLLM 团队正式发布vLLM-Omni：这是 vLLM 生态向“全模态（omni-modality）”时代迈出的关键一步，专门为新一代看得见、听得懂、会说话、能生成多种媒介的模型设计的推理框架。

2025-12-02

美团 LongCat 团队发布数学推理评测基准：AMO-Bench

大模型的"推理能力"能让机器具备与人类相似的认知和行为能力，能像人一样理解、思考、学习并解决复杂问题。而在众多推理能力评测场景中，数学推理任务是当前衡量和追踪模型推理能力进展的 "黄金标尺"。

2025-12-01

突然就“推理 Agent 元年”了，再聊 AI Chat 与 AI Agent

然而到了下半年，随着大模型自身推理能力的爆发，以及生态中 MCP、ACP、A2A、上下文工程等技术基础设施的演进，“推理 Agent 元年”已然到来，Agentic AI 这种模式也已经能够较为通畅地应用到了各种各样的行业

2025-10-27

蚂蚁开源业内首个高性能扩散语言模型推理框架 dInfer

蚂蚁集团正式开源业界首个高性能扩散语言模型推理框架dInfer。

2025-10-13

PAI-TurboX：面向自动驾驶的训练推理加速框架

如何优化深度学习模型的训练与推理流程，提升计算资源利用率，缩短模型迭代周期，并在保证精度的同时，实现低延迟、高吞吐量的部署，始终是行业面临的核心挑战。

2025-06-26

苹果发布论文揭示推理大模型存在显著局限性

苹果研究团队近日发布论文，指出当前主流的推理模型（LRMs）在处理复杂问题时存在显著局限性。

2025-06-09

AI 推理大模型或在一年内减缓增长

AI 研究机构 Epoch AI 发布《推理模型能扩展多远（How far can reasoning models scale?）》报告，其中对推理模型的现状和未来作出了分析总结。

2025-05-15

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

精选列表

搞懂分布式技术17：浅析分布式事务

分布式秒杀

分布式演化

MongoDB分布式

分布式账本

elasticsearch 分布式

TokenSpeed：面向智能体工作负载的极速大模型推理引擎

Lightmatter Passage 光互联重塑高性能 AI 训练与推理底座

光子互连如何撑起百万 Token 大模型推理？| Lightmatter HotI报告

基于DeepSpeed和PyTorch的大模型微调与推理优化实践

驯服"Token黑洞"：Agent成本工程、推理优化与ROI量化实战

字节发布 Seed Prover 1.5：全新 Agentic 架构，更强数学推理表现

使用 eBPF 实现 LLM 推理服务的全栈可观测性

vLLM-Omni 上线：多模态推理更简单、更快、更省

美团 LongCat 团队发布数学推理评测基准：AMO-Bench

突然就“推理 Agent 元年”了，再聊 AI Chat 与 AI Agent

蚂蚁开源业内首个高性能扩散语言模型推理框架 dInfer

PAI-TurboX：面向自动驾驶的训练推理加速框架

苹果发布论文揭示推理大模型存在显著局限性

AI 推理大模型或在一年内减缓增长

资源下载

腾讯云软件源

Spring

Rocky Linux

Sublime Text

欢迎您来访！

精选列表

搞懂分布式技术17：浅析分布式事务

分布式秒杀

分布式演化

MongoDB分布式

分布式账本

elasticsearch 分布式

TokenSpeed：面向智能体工作负载的极速大模型推理引擎

Lightmatter Passage 光互联重塑高性能 AI 训练与推理底座

光子互连如何撑起百万 Token 大模型推理？| Lightmatter HotI报告

基于DeepSpeed和PyTorch的大模型微调与推理优化实践

驯服"Token黑洞"：Agent成本工程、推理优化与ROI量化实战

字节发布 Seed Prover 1.5：全新 Agentic 架构，更强数学推理表现

使用 eBPF 实现 LLM 推理服务的全栈可观测性

vLLM-Omni 上线：多模态推理更简单、更快、更省

美团 LongCat 团队发布数学推理评测基准：AMO-Bench

突然就“推理 Agent 元年”了，再聊 AI Chat 与 AI Agent

蚂蚁开源业内首个高性能扩散语言模型推理框架 dInfer

PAI-TurboX： 面向自动驾驶的训练推理加速框架

苹果发布论文揭示推理大模型存在显著局限性

AI 推理大模型或在一年内减缓增长

资源下载

腾讯云软件源

Spring

Rocky Linux

Sublime Text

欢迎您来访！

PAI-TurboX：面向自动驾驶的训练推理加速框架