DeepSeek 模型快速体验,魔搭+函数计算一键部署模型上云
DeepSeek 模型近期在全网引发了广泛关注,热度持续攀升。其开源模型 DeepSeek-V3 和 DeepSeek-R1 在多个基准测试中表现优异,在数学、代码和自然语言推理任务上,性能与 OpenAI 的顶尖模型相当。对于期待第一时间在本地进行使用的用户来说,尽管 DeepSeek提供了从1.5B到70B参数的多尺寸蒸馏模型,但本地部署仍需要一定的技术门槛。对于资源有限的用户进一步使用仍有难点。
为了让更多开发者第一时间体验 DeepSeek 模型的魅力,Modelscope 社区 DeepSeek-R1-Distill-Qwen模型现已支持一键部署(SwingDeploy)上函数计算 FC 服务,欢迎开发者立即体验。
魔搭+函数计算,一键部署模型上云
SwingDeploy 是魔搭社区推出的模型一键部署服务,支持将魔搭上的各种(包括语音,视频,NLP等不同领域)模型直接部署到用户指定的云资源上,比如函数计算FC(以下简称FC)GPU算力实例。本文介绍如何通过魔搭SwingDeploy服务,快速将DeepSeek模型部署到阿里云函数计算FC平台的闲置GPU实例,并对部署后的模型进行推理访问。
函数计算平台提供了低成本的闲置 GPU 实例,使用闲置GPU实例,将带来如下优势:
● 实例快速唤醒:函数计算平台会根据您的实时负载水平,自动将GPU实例进行冻结。冻结的实例接受请求前,平台会自动将其唤醒。要注意,唤醒过程会存在2-5秒的延迟。
● 兼顾服务质量与服务成本:闲置GPU实例的计费周期不同于按量GPU实例,闲置GPU实例会在实例闲置与活跃期间以不同的单价进行计费,从而大幅降低用户使用GPU成本。相较于长期自建GPU集群,闲置GPU实例根据GPU繁忙程度提供降本幅度高达80%以上。
魔搭社区一键部署介绍:https://modelscope.cn/docs/model-service/deployment/intro
函数计算闲置GPU介绍:https://help.aliyun.com/zh/functioncompute/fc-3-0/user-guide/real-time-inference-scenarios-1
DeepSeek模型介绍
性能对齐OpenAI-o1正式版
DeepSeek-R1 在后训练阶段大规模使用了强化学习技术,在仅有极少标注数据的情况下,极大提升了模型推理能力。在数学、代码、自然语言推理等任务上,性能比肩 OpenAI o1 正式版。 在此,DeepSeek将 DeepSeek-R1 训练技术全部公开,以期促进技术社区的充分交流与创新协作。
论文链接:
https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf
模型链接:
https://modelscope.cn/collections/DeepSeek-R1-c8e86ac66ed943
蒸馏小模型超越 OpenAI o1-mini
DeepSeek在开源 DeepSeek-R1-Zero 和 DeepSeek-R1 两个 660B 模型的同时,通过 DeepSeek-R1 的输出,蒸馏了 6 个小模型开源给社区,其中 7B 和 14B 模型在多项能力上实现了对标 OpenAI o1-mini 效果、展现了较高的生产环境部署性价比。
部署步骤
函数计算提供有Ada系列48GB显存的GPU,供DeepSeek-R1-Distill-Qwen如下参数版本的模型运行。
| DeepSeek-R1-Distill-Qwen的不同参数模型 | 模型链接 | | :--- | :--- | | 1.5B | https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B | | 7B | https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B | | 14B | https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B | | 32B | https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B |
本文将继续以DeepSeek-R1-Distill-Qwen-7B展现部署步骤,相同的部署步骤可应用于1.5B、14B、32B参数量模型的部署。
前置条件:
● 账号绑定与授权:https://modelscope.cn/docs/model-service/deployment/swingdeploy-pipeline
部署步骤:
● 进入DeepSeek-R1-Distill-Qwen-7B模型页:https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B
● 请选择GGUF格式的量化版本:
● 进入DeepSeek-R1-Distill-7B-GGUF模型页后,点击部署,部署类型选择付费的FC GPU算力。
■ 部署地域:可选择杭州或上海。
■ GPU卡型:默认将DeepSeek模型部署至Ada系列48GB显存GPU,并开启闲置GPU模式,以降低您的运行成本。
● 查看部署过程,确认部署成功。
■ 确认状态为部署成功(预留模式),如果不是,请点击服务模式切换。
● 模型调用:
○ 查看调用代码示例:
○ 调用模型,进行推理:
■ 首次调用由于模型加载导致耗时长,后续均为热调用无此问题。
更进一步了解函数计算GPU
● FC GPU实例介绍规格和使用模式介绍:https://help.aliyun.com/zh/functioncompute/fc-3-0/product-overview/instance-types-and-usage-modes
● FC GPU实时推理场景(闲置GPU模式)介绍:https://help.aliyun.com/zh/functioncompute/fc-3-0/use-cases/real-time-inference-scenarios-1
● FC GPU准实时推理场景(按量GPU模式)介绍:https://help.aliyun.com/zh/functioncompute/fc-3-0/use-cases/quasi-real-time-inference-scenarios
● FC GPU异步推理场景介绍:https://help.aliyun.com/zh/functioncompute/fc-3-0/use-cases/offline-asynchronous-task-scenario
● FC GPU镜像说明:https://help.aliyun.com/zh/functioncompute/fc-3-0/use-cases/image-usage-notes-1
● FC GPU模型存储最佳实践:https://help.aliyun.com/zh/functioncompute/fc-3-0/user-guide/gpu-instance-model-storage-best-practices
● FC GPU FAQ(模型托管、模型预热):https://help.aliyun.com/zh/functioncompute/fc-3-0/support/faq-about-gpu-accelerated-instances-1
● FC GPU 应用模板与示例代码:https://github.com/devsapp/start-fc-gpu/tree/v3 更多内容关注 Serverless 微信公众号(ID:serverlessdevs),汇集 Serverless 技术最全内容,定期举办 Serverless 活动、直播,用户最佳实践。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
智能编码在前端研发的创新应用
一、前端开发实例 今天主要想分享一些关于大模型如何协助我们进行前端编码的实践。首先,让我们以一个前端开发的实例开始。通常,当需要实现一个新的前端功能时,我们会收到相关的背景和需求描述。我的期望是,大模型能够直接使用这些描述来实现需求。例如,如果我们需要在人员信息中添加增删改查的方法,我希望只需提供需求描述,大模型就能细化需求并检索相关的代码。这正是大模型的强项,即能够规划和执行任务。 最终生成这个需求实现可能涉及到多个文件的修改或工程级别的修改,这就需要进行 repo level 的代码生成。在进行问答时,我们用户实际上就是在做"提示词工程"。 设计提示词工程其实非常简单。我们对生成的代码有技术栈的要求,需采用 React 或 Vue 架构,并明确组件库是采用 AntD 组件库或其他。从 PRD 中复制需求后,即可开始生成业务代码。由于需求内容较多,字段繁多,形成了一个长表单,因此生成的代码也较长,可以清楚地看到效果,这个需求的表单项很多。如果是程序员手动编写代码,需要逐个敲入 form item 并确认类型。 在前端开发中,重复性劳动是普遍存在的,需要反复确认并一行行地敲代码。尽管现...
- 下一篇
一文搞懂 CDC(Change Data Capture)同步原理解析
CDC简介 CDC(Change Data Capture)是一种用于跟踪数据库库变更事件(插入、更新、删除)中的行级更改,并将事件以发生的顺序通知到其他系统处理。在容灾场景下,CDC主要实现的是主备间的数据同步,即从主数据库到备数据库的数据实时同步。 source ----------> CDC ----------> sink Apache SeaTunne CDC SeaTunnel CDC的数据同步分为两种: 快照读:读取表的历史数据 增量跟踪:读取表的增量日志更改数据 无锁快照同步 无锁快照同步阶段,为什么强调无锁,是因为现有的CDC平台在进行历史数据的同步时可能会进行锁表操作,例如Debezium。快照读阶段就是对数据库的历史数据库进行同步的过程,其基本概述流程如下: storage------------->splitEnumerator----------split---------->reader ^ | | | \-----------------report------------/ Split划分 splitEnumerator(spli...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2全家桶,快速入门学习开发网站教程
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- 2048小游戏-低调大师作品
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS关闭SELinux安全模块