搜索[跨模态推理]结果-低调大师优秀个人博客

精选列表

搜索[跨模态推理]，共10006篇文章

ECS支持跨地域跨资源类型的标签(TAG)操作

问题 ECS（弹性云服务器）如何解决跨地域跨资源类型的分组管理，为后续分账、运维、分权等做准备。

2019-12-07

公有云市场现状，问题及趋势从全球公有云市场来看，亚马逊AWS一枝独秀，占据了接近40%的市场份额。2017年全年，AWS营收为43.3亿美元，销售额为174.6亿美元。而在中国公有云市场，阿里云的市场份额达到了47.6%。在连续11个季度三位数增长之后，领先优势继续扩大：同期，国内第2至5位云服务商市场份额分别为9.6%、6.5%、6%和5.5%。然而，近期公有云厂商出现了不少次故障和宕机事故： 2017年2月，一位AWS工程师试图对位于弗吉尼亚州数据中心内的一个S3存储系统进行调试的时候，意外地输入了一个错误命令行，随后大部分互联网，包括Slack、Quora和Trello在内的很多企业平台停机了4个小时。9月份，该区域（美东）又发生了一起存储事故。 2017年3月，微软Azure公有云存储可用性问题超过8个小时，主要影响到美国东部

2018-08-15

混合云存储跨云灾备方案之跨云复制

前文介绍了混合云备份是如何跨云备份（多云备份）和恢复云主机中的目录与文件。

2018-08-15

跨平台跨设备应用或将成为一个热点

如今联发科推出了CrossMount跨设备共享技术，就是要满足这种用户需求。同时这也是一种非常好玩的“近场”共享或者是娱乐的工具。为何这么说?

2017-06-01

基于 vLLM+Nginx 构建负载均衡推理集群

企业内部私有环境部署大模型推理集群时，很容易遇到流量调度混乱、节点负载失衡、会话上下文丢失、接口缺少鉴权防护等一系列问题，单 vLLM 推理节点难以支撑并发请求。

2026-09-12

Unsloth如何跑通本地训练与GGUF推理

Unsloth 是 unslothai/unsloth 仓库中的 Python 项目，README 给出的定位是本地运行和训练 LLM 与 diffusion models，覆盖 Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、DeepSeek-V4、FLUX 等模型方向。

2026-08-16

OpenAI 联手 Cerebras 打造全球最大 AI 推理平台

OpenAI与美国AI芯片独角兽Cerebras联合宣布，将部署总计 750 兆瓦的Cerebras晶圆级系统，构建全球规模最大的高速AI推理平台。

2026-01-15

探讨超长上下文推理的潜力

强大的长上下文推理能力正是强化学习持续扩展的重要支撑。原因之一在于它支持更长的决策轨迹[16]：更大的上下文窗口允许模型对耗时任务[17]输出更长的推理链条。

2025-11-04

在 Elastic 中使用 GPU 推理进行语义搜索

作者：来自ElasticSean Handley及Max Jakob 了解 Elastic 的 EIS 如何利用 GPU 推理和 ELSER 来支持快速、准确的语义搜索。

2025-11-03

大量 “垃圾” 数据影响大语言模型推理能力

这项研究表明，这些模型的推理能力和自信心都受到影响，引发了对它们长期健康的担忧。研究团队来自多个美国大学，提出了 “LLM 脑衰退假说”，借鉴了人类在过度接触无脑在线内容时可能造成的认知损害。

2025-10-27

AI 推理运行时 Windows ML 正式 GA

微软宣布 Windows ML 现已面向生产环境正式 GA，Windows ML 最早在 Build 2025 大会上推出，是内置的 AI 推理运行时，针对设备上的模型推理进行了优化，并简化了模型依赖管理

2025-09-24

Mistral 推出首个推理模型系列 Magistral

Mistral宣布推出其首个推理模型系列 Magistral，采用 step-by-step的方式，以提高数学和物理等主题的一致性和可靠性。

2025-06-11

OpenAI 新的推理模型幻觉更严重

据 OpenAI 的内部测试，o3 和 o4-mini 两款新模型比 OpenAI 此前的推理模型（o1、o1-mini、o3-mini）以及传统的「非推理」模型，都更容易产生幻觉。

2025-04-21

LayerSkip: 使用自推测解码加速大模型推理

自推测解码对于实际应用特别高效，它可以在较小的 GPU 上部署，并降低大规模推理所需的整体硬件资源。

2025-03-10

JuiceFS 在多云架构中加速大模型推理

在大模型的开发与应用中，数据预处理、模型开发、训练和推理构成四个关键环节。本文将重点探讨推理环节。

2024-08-23

KubeAI大模型推理加速实践｜得物技术

一、背景最近我们在生产环境批量部署了大模型专用推理集群，并成功让包括70B在内的大模型推理速度提升50%，大幅缩减部署成本，稳定应用于生产环境。

2024-05-21

每日一博 | 语言大模型的推理技巧

本文探讨了一系列语言大模型的推理优化技巧，涵盖KV缓存、量化和稀疏性等方法，并分享了如何有效实施这些技术。对于想要优化Transformer模型，以期提升推理速度或效率的人来说值得一读。

2023-12-12

使用 PAI-Blade 优化 Stable Diffusion 推理流程

然而，随着应用场景不断扩大，Stable Diffusion所面临的推理时延和计算成本问题也越来越突出。

2023-05-23

Adlik —— 加速深度学习推理的工具包

Adlik 的目标是在云和嵌入式环境中加速深度学习推理过程。使用 Adlik 框架，不同的深度学习模型可以以非常灵活和简单的方式以高性能部署到不同的平台。

2022-02-22

PyStan —— 贝叶斯推理的软件包

PyStan 为 Stan 提供了一个 Python 接口，这是一个使用 No-U-Turn 采样器进行贝叶斯推理的软件包，这是Hamiltonian Monte Carlo 的一种变体。

2021-10-11

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。