搜索[本地推理]结果-低调大师优秀个人博客

精选列表

搜索[本地推理]，共10010篇文章

Apache Storm 官方文档 —— 本地模式

本地模式是一种在本地进程中模拟 Storm 集群的工作模式，对于开发和测试拓扑很有帮助。在本地模式下运行拓扑与在集群模式下运行拓扑的方式很相似。

2017-05-21

Apple本地认证(密码+Touch id)

Apple本地认证(密码+Touch id) 转载请注明出处：https://yq.aliyun.com/articles/79904?

2017-05-10

Packer创建阿里云本地镜像

Packer创建阿里云本地镜像通过手工创建在本地镜像,并且上传到云环境是一个复杂而易错的过程，而packer的出现极大的降低了这种复杂度，本文详细了讲解了如何在ubuntu（16.04或者更高版本）系统基于

2017-03-12

源代码： import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class UploadFile { public static void main(String[] args) throws IOException { Configuration conf = new Configuration(); //conf.addResource(new Path("conf/hadoop-default.xml")); //conf.addResource(new Path("conf/hadoop-site.xml")); //通过conf来指定要操作的HDFS FileSystem hdfs = FileSystem.get(conf); //要上传的源文件所在路径 Path src = new Path("D:\\v.txt"); //hadoop文件系统的跟目录 Path dst = new Path("/"); //将源文件copy到hadoop文件系统 hdfs.copyFromLocalFile(src, dst); System.out.println("上传到"+conf.get("fs.default.name")); FileStatus files[] = hdfs.listStatus(dst); for(int i=0;i<files.length;i++) { System.out.println(files[i].getPath()); } } } 还需要一个jar包：http://download.csdn.net/detail/lixiaolun/9227851 如果报Configuration错误，需要再下一个commons-logging.jar。网上随便就能搜到。还有现成的java代码，不需要导入jar报：http://download.csdn.net/detail/lixiaolun/9227879

2015-10-29

基于 vLLM+Nginx 构建负载均衡推理集群

企业内部私有环境部署大模型推理集群时，很容易遇到流量调度混乱、节点负载失衡、会话上下文丢失、接口缺少鉴权防护等一系列问题，单 vLLM 推理节点难以支撑并发请求。

2026-09-12

OpenAI 联手 Cerebras 打造全球最大 AI 推理平台

OpenAI与美国AI芯片独角兽Cerebras联合宣布，将部署总计 750 兆瓦的Cerebras晶圆级系统，构建全球规模最大的高速AI推理平台。

2026-01-15

探讨超长上下文推理的潜力

强大的长上下文推理能力正是强化学习持续扩展的重要支撑。原因之一在于它支持更长的决策轨迹[16]：更大的上下文窗口允许模型对耗时任务[17]输出更长的推理链条。

2025-11-04

在 Elastic 中使用 GPU 推理进行语义搜索

作者：来自ElasticSean Handley及Max Jakob 了解 Elastic 的 EIS 如何利用 GPU 推理和 ELSER 来支持快速、准确的语义搜索。

2025-11-03

大量 “垃圾” 数据影响大语言模型推理能力

这项研究表明，这些模型的推理能力和自信心都受到影响，引发了对它们长期健康的担忧。研究团队来自多个美国大学，提出了 “LLM 脑衰退假说”，借鉴了人类在过度接触无脑在线内容时可能造成的认知损害。

2025-10-27

AI 推理运行时 Windows ML 正式 GA

微软宣布 Windows ML 现已面向生产环境正式 GA，Windows ML 最早在 Build 2025 大会上推出，是内置的 AI 推理运行时，针对设备上的模型推理进行了优化，并简化了模型依赖管理

2025-09-24

Mistral 推出首个推理模型系列 Magistral

Mistral宣布推出其首个推理模型系列 Magistral，采用 step-by-step的方式，以提高数学和物理等主题的一致性和可靠性。

2025-06-11

OpenAI 新的推理模型幻觉更严重

据 OpenAI 的内部测试，o3 和 o4-mini 两款新模型比 OpenAI 此前的推理模型（o1、o1-mini、o3-mini）以及传统的「非推理」模型，都更容易产生幻觉。

2025-04-21

LayerSkip: 使用自推测解码加速大模型推理

自推测解码对于实际应用特别高效，它可以在较小的 GPU 上部署，并降低大规模推理所需的整体硬件资源。

2025-03-10

JuiceFS 在多云架构中加速大模型推理

在大模型的开发与应用中，数据预处理、模型开发、训练和推理构成四个关键环节。本文将重点探讨推理环节。

2024-08-23

KubeAI大模型推理加速实践｜得物技术

一、背景最近我们在生产环境批量部署了大模型专用推理集群，并成功让包括70B在内的大模型推理速度提升50%，大幅缩减部署成本，稳定应用于生产环境。

2024-05-21

每日一博 | 语言大模型的推理技巧

2 推测性解码推测性解码是一种在计算能力充裕时使用的技术，通常用于本地推理设置。它利用了现代加速器的特性，即在批次数据上运行推理所需的时间与在单个数据点上运行推理的时间相同。

2023-12-12

使用 PAI-Blade 优化 Stable Diffusion 推理流程

然而，随着应用场景不断扩大，Stable Diffusion所面临的推理时延和计算成本问题也越来越突出。

2023-05-23

Adlik —— 加速深度学习推理的工具包

Adlik 的目标是在云和嵌入式环境中加速深度学习推理过程。使用 Adlik 框架，不同的深度学习模型可以以非常灵活和简单的方式以高性能部署到不同的平台。

2022-02-22

PyStan —— 贝叶斯推理的软件包

PyStan 为 Stan 提供了一个 Python 接口，这是一个使用 No-U-Turn 采样器进行贝叶斯推理的软件包，这是Hamiltonian Monte Carlo 的一种变体。

2021-10-11

阿里开源深度神经网络推理引擎 MNN

近日，阿里正式开源了轻量级深度学习端侧推理引擎 “MNN”。 MNN 是一个轻量级的深度学习端侧推理引擎，核心解决深度神经网络模型在端侧推理运行问题，涵盖深度神经网络模型的优化、转换和推理。

2019-05-08

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。