首页 文章 精选 留言 我的

精选列表

搜索[可视化效果],共10000篇文章
优秀的个人博客,低调大师

英伟达开源 2530 亿参数推理大模型,效果直逼 DeepSeek-R1

英伟达开源了NVIDIA Llama Nemotron中最大尺寸的推理模型 Llama-3.1-Nemotron-Ultra-253B-v1,可用于聊天机器人开发、AI Agent 工作流、检索增强生成(RAG)和代码生成等场景。 根据英伟达开放模型许可证及 Llama 3.1 社区许可协议,该模型已获准用于商业用途。 NVIDIA Llama Nemotron 是英伟达在上个月推出的一系列支持推理和多样化 Agent 任务的模型。该模型系列提供三种不同尺寸: Nano:8B,基于Llama 3.1 8B进行微调,适用于在个人电脑和边缘设备上实现最高精度。 Super:49B,从Llama 3.3 70B蒸馏而来,适用于在数据中心GPU上实现最高精度和最高吞吐量。 Ultra:253B,从Llama 3.1 405B蒸馏而来,适用于在多GPU数据中心服务器上实现最大智能代理精度。 当时英伟达只放出了 Nano 和 Super 两个模型版本,现在他们终于把最大的版本 Ultra 给开源了。 目前,该模型的代码已在 Hugging Face 平台上公开,包含开放的权重和训练后数据。 模型地址:https://huggingface.co/nvidia/Llama-3_1-Nemotron-Ultra-253B-v1 文档地址:https://docs.api.nvidia.com/nim/reference/nvidia-llama-3_1-nemotron-ultra-253b-v1 Llama-3.1-Nemotron-Ultra-253B-v1 是从 Meta Llama-3.1-405B-Instruct 蒸馏得到的。这是一个经过后训练的推理模型,专注于推理、人类聊天偏好以及诸如 RAG(检索增强生成)和工具调用等任务。该模型支持 128K 的上下文长度,并且可以在单个 8xH100 节点上进行推理。 据介绍,Llama-3.1-Nemotron-Ultra-253B 的设计目标是支持高级推理、指令遵循以及 AI 助手工作流程。技术特点如下: 采用神经架构搜索(NAS)优化架构 引入跳跃注意力层、融合前馈网络(FFN)和可变 FFN 压缩率 降低内存占用和计算需求,保持输出质量 可在单个 8x H100 GPU 节点高效部署 部署支持 B100 和 Hopper 微架构硬件 在 BF16 和 FP8 精度模式下均验证通过 Llama-3.1-Nemotron-Ultra-253B-v1 的训练包括模型蒸馏、SFT、面向推理的 RL 以及面向对齐的 RL 四个阶段。 特别地,区别于一些只支持推理的大模型,Ultra 模型支持通过系统提示词控制是否开启推理模式。 该模型基于 Meta 早期的 Llama-3.1-405B-Instruct 模型开发,拥有 2530 亿个参数,在多项第三方基准测试中表现出色: 值得关注的是,英伟达新模型的性能逼近拥有 6710 亿参数的 DeepSeek R1,但只用了不到一半的参数量。 测试结果显示,GPQA(76 vs. 71.5)、IFEval 指令遵循(89.5 vs. 88.8)和 LiveCodeBench 编码任务(66.3 vs. 65.9)。并且,Llama-3.1-Nemotron-Ultra-253B 推理吞吐量也比 DeepSeek R1 671B 高 4 倍。 但在 MATH500 和 Arena Hard 基准测试中,DeepSeek R1 仍略占优势。 在一系列基准测试中,Llama-3.1-Nemotron-Ultra-253B-v1 优于 Meta 最新发布的 Llama 4 Behemoth 和 Llama 4 Maverick。

优秀的个人博客,低调大师

效果预览!

solon-ai-mcp 是 solon-ai 的扩展特性。提供 mcp 协议的支持。通过它,可以方便的发布 Tool Service,方便的使用 Tool Service。 引入依赖包 <dependency> <groupId>org.noear</groupId> <artifactId>solon-ai-mcp</artifactId> <version>3.1.3-SNAPSHOT</version> </dependency> 服务端演示(发布工具服务) 引入依赖包后,服务端默认不会启用,需要通过配置启用。 solon.ai.mcp.server: enabled: true sseEndpoint: "/mcp/sse" 启用 mcp server 后,所有组件的@FunctionMapping方法,会自动成为 mcp server 的 tool 服务。 @Component public class McpServerTool { @FunctionMapping(description = "查询天气预报") public String getWeather(@FunctionParam(description = "城市位置") String location) { return "晴,14度"; } } public class McpServerApp { public static void main(String[] args) { Solon.start(McpServerApp.class, args); } } 客户端演示(使用工具服务) 客户端可以使用原生的 modelcontextprotocol 接口,也可以使用 McpClientWrapper (包装简化过) 直接调用 public void case1(){ McpClientWrapper mcpClient = new McpClientWrapper("http://localhost:8080", "/mcp/sse"); String rst = mcpClient.callToolAsText("getWeather", Map.of("location", "杭州")); } 绑定给模型使用 public void case2(){ ChatModel chatModel = null; McpClientWrapper mcpClient = null; chatModel.prompt("杭州今天的天气怎么样?") .options(options -> { //转为函数集合用于绑定 options.functionAdd(mcpClient.toFunctions()); }) .call(); } 项目仓库地址 gitee:https://gitee.com/opensolon/solon-ai gitcode:https://gitcode.com/opensolon/solon-ai github:https://github.com/opensolon/solon-ai 官网 https://solon.noear.org/article/learn-solon-ai

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册