首页 文章 精选 留言 我的

精选列表

搜索[算力],共10000篇文章
优秀的个人博客,低调大师

解锁 TL182X 算力卡:20TOPS 算力 RK1828 大模型部署全实操(三)

## 4.5.2运行Qwen2.5-7B模型 请将“软件资料RK182X-AI-AcceleratorectmodelllmQwen2.5-7B”目录下的所有文件拷贝至评估板文件系统。 备注:请确保用于拷贝Qwen2.5-7B模型的文件系统目录具备充足的剩余存储空间。 **Target# **cd /userdata/model/llm/Qwen2.5-7B/ ![wKgZO2p5KO-AIqmEAAAfa7WKi70222.png](https://developer.qcloudimg.com/http-save/8546319/6046f1102df69d1e1d4e72e55ae48411.png) 执行如下命令,运行Qwen2.5-7B模型测试程序,该程序在测试过程中,会以随机生成的token序列作为测试样本,重复进行3次提问,最终统计并输出测试的性能。 **Target# **rknn3_session_test_eval_perf Qwen2.5-7B.rknn Qwen2.5-7B.weight Qwen2.5-7B.tokenizer.gguf Qwen2.5-7B.embed.bin 1024 128 128 0xff ![wKgZO2p5KP6ADaWIAACF6vCTM5s388.png](https://developer.qcloudimg.com/http-save/8546319/7170bbc18a1d9c122cf4e0a3c8719756.png) 程序统计性能: ![wKgZPGp5KQyAO5OeAACMepazceI433.png](https://developer.qcloudimg.com/http-save/8546319/70f1843ab2d36f03694c1e418a97d585.png) 由打印信息可得: ![wKgZPGp5KRuAJlHlAAAX6DPzRgc506.png](https://developer.qcloudimg.com/http-save/8546319/b977ddedfa8c77361ad85dea7beea825.png) 查看CPU使用率和NPU使用率: ![wKgZPGpylViAFGxtAABTkMV8VoU491.png](https://developer.qcloudimg.com/http-save/8546319/97808d03ba59073b293ff86a4cc6093e.png) ![wKgZPGp5KSiAP80uAAEPXVhlWvY480.png](https://developer.qcloudimg.com/http-save/8546319/1c4b612735d65932bf0f9d969ce0ede0.png) 由上图可以看到,CPU使用率最高46%,NPU使用率最高94%。 ## 4.5.3运行Qwen3-4B模型 请将“软件资料RK182X-AI-AcceleratorectmodelllmQwen3-4B”目录下的所有文件拷贝至评估板文件系统。 备注:请确保用于拷贝Qwen3-4B模型的文件系统目录具备充足的剩余存储空间。 **Target# **cd /userdata/model/llm/Qwen3-4B/ ![wKgZPGp5KUGAXuLsAAAaiHHEBGU251.png](https://developer.qcloudimg.com/http-save/8546319/aa27f81b0782f16bfef94f18f2fcf3eb.png) 执行如下命令,运行Qwen3-4B模型测试程序,该程序在测试过程中,会以随机生成的token序列作为测试样本,重复进行3次提问,最终统计并输出测试的性能。 **Target# **rknn3_session_test_eval_perf Qwen3-4B.rknn Qwen3-4B.weight Qwen3-4B.tokenizer.gguf Qwen3-4B.embed.bin 1024 128 128 0xff ![wKgZPGp5KU2AH8XOAACD7-NQyk0189.png](https://developer.qcloudimg.com/http-save/8546319/45b1cda575c39748cc45c4441920d609.png) 程序统计性能: ![wKgZPGp5KV6AY7YxAACG5YhnbK0599.png](https://developer.qcloudimg.com/http-save/8546319/9004d96b481d219b41b7eb9efe9b3008.png) 由打印信息可得: ![wKgZPGp5KW-Ac5R2AAAM9lw2qcA811.png](https://developer.qcloudimg.com/http-save/8546319/05830573b688279883c2c59fca540392.png) 查看CPU使用率和NPU使用率: ![wKgZPGpylViAFGxtAABTkMV8VoU491.png](https://developer.qcloudimg.com/http-save/8546319/97808d03ba59073b293ff86a4cc6093e.png) ![wKgZO2p5KYmAHsv6AAEIHAnOF4c336.png](https://developer.qcloudimg.com/http-save/8546319/d72a5a28f10e7026c6f3c3ac45268e30.png) 由上图可以看到,CPU使用率最高46%,NPU使用率最高92% ## 4.5.4运行Qwen3-8B模型 请将“软件资料RK182X-AI-AcceleratorectmodelllmQwen3-8B”目录下的所有文件拷贝至评估板文件系统。 备注:请确保用于拷贝Qwen3-8B模型的文件系统目录具备充足的剩余存储空间。 **Target# **cd /userdata/model/llm/Qwen3-8B/ ![wKgZO2p5KbCAT91gAAAaDFljfaM681.png](https://developer.qcloudimg.com/http-save/8546319/cfcc19f66385628c5f3f06f24f7fe9c0.png) 执行如下命令,运行Qwen3-8B模型测试程序,该程序在测试过程中,会以随机生成的token序列作为测试样本,重复进行3次提问,最终统计并输出测试的性能。 **Target# **rknn3_session_test_eval_perf Qwen3-8B.rknn Qwen3-8B.weight.ldtmp Qwen3-8B.tokenizer.gguf Qwen3-8B.embed.bin 1024 128 128 0xff ![wKgZO2p5Kb6AXxseAACMrGGh3uE037.png](https://developer.qcloudimg.com/http-save/8546319/3469b0667b22ea3d5046eb82498dd27c.png) 程序统计性能: ![wKgZPGp5KcmAGWHdAACGWEhGkLo327.png](https://developer.qcloudimg.com/http-save/8546319/bd9682bd5da5eea80c1119129d480b94.png) 由打印信息可得: ![wKgZPGp5KeaAUXutAAAUQAhGPdI926.png](https://developer.qcloudimg.com/http-save/8546319/11e8b5030aa8a4fc08c06b9e96ebda28.png) 查看CPU使用率和NPU使用率: ![wKgZPGpylViAFGxtAABTkMV8VoU491.png](https://developer.qcloudimg.com/http-save/8546319/97808d03ba59073b293ff86a4cc6093e.png) ![wKgZO2p5KfCADVylAAD7B-Pbaeo288.png](https://developer.qcloudimg.com/http-save/8546319/ff2f54c0f57ee6ec9e0d4a7dfc0596a1.png) 由上图可以看到,CPU使用率最高26%,NPU使用率最高95% # **五、案例编译** 进行案例编译前,请先参考TL3588-EVM产品资料的《Ubuntu系统使用手册》完成应用交叉编译工具链配置。 ## **5.1编译rknn3_model_test_demo** 执行如下命令,进入rknn3_model_test_demo案例目录。 **Host# **cd /home/tronlong/RK3588/rk182x_sdk/rknn/rknn3-runtime/examples/rknn3_model_test_demo **Host# **ls ![wKgZO2p5KlOATytuAACPIy-wdQw181.png](https://developer.qcloudimg.com/http-save/8546319/b80098b25fab4ae3c85d6aa21fa56648.png) 执行如下命令,配置交叉编译环境,并运行构建脚本build-linux.sh,编译应用程序。 **Host# **export GCC_COMPILER=/home/tronlong/RK3588/rk3588_linux_release/ubuntu/sysroots/x86_64-linux/bin/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu **Host# **./build-linux.sh -t rk3588 -a aarch64 -b Release ![wKgZO2p5KmSAD8_SAAEVEFVZmpA064.png](https://developer.qcloudimg.com/http-save/8546319/b678bf86b84c33dded48bc2359bd776d.png) 编译完成后,将在"install/rknn3_model_test_Linux/"目录下生成可执行文件。 ![wKgZPGp5KoGAAF3VAAFGhSbSKyQ418.png](https://developer.qcloudimg.com/http-save/8546319/80fee63dda9d9a9e1e796ca7773da085.png) ## **5.2编译rknn3_llm_test** 执行如下命令,进入rknn3_llm_test案例目录。 **Host# **cd /home/tronlong/RK3588/rk182x_sdk/rknn/rknn3-model-zoo/tools/rknn3_llm_test **Host# **ls ![wKgZO2p5Ko2AHHAHAACGRMPhR7Q476.png](https://developer.qcloudimg.com/http-save/8546319/0cb53b47fdcc5e0933168d75243a89a4.png) 执行如下命令,配置交叉编译环境,并运行构建脚本build-linux.sh,编译应用程序。 **Host# **export GCC_COMPILER=/home/tronlong/RK3588/rk3588_linux_release/ubuntu/sysroots/x86_64-linux/bin/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu **Host# **./build-linux.sh -t rk3588 -a aarch64 -b Release ![wKgZPGp5KpiANHqhAAFgHhVDDTI596.png](https://developer.qcloudimg.com/http-save/8546319/5aaec0c5cde3df003ac7704aee95c8dc.png) 若使用Ubuntu22.04版本资料(基于rk3588_linux6.1_release_v1.4.0)的开发环境,则执行如下命令配置交叉编译环境,再运行构建脚本,编译应用程序。 **Host# **export GCC_COMPILER=/usr/bin/aarch64-linux-gnu **Host# **./build-linux.sh -t rk3588 -a aarch64 -b Release ![wKgZO2p5KqWADKCOAADqhgYbJ8Y161.png](https://developer.qcloudimg.com/http-save/8546319/c362330ae8414f854b22f61caddc1625.png) 编译完成后,将在"install/rknn3_llm_test_RK3588_Linux/"目录下生成可执行文件。 ![wKgZO2p5KrKAUNUqAAFhL8KGfG4705.png](https://developer.qcloudimg.com/http-save/8546319/c76c8affc53d4e213c00f8c4f7da62b6.png)

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册