AI 推理框架软件 ONNX Runtime 正式支持龙架构
近日,知名AI推理框架开源社区ONNX Runtime正式发布支持龙架构的版本1.17.0。
今后,用户可以直接使用ONNX Runtime开源社区发布的版本在龙芯平台完成AI推理类应用的开发和部署,标志着龙架构软件生态得到进一步完善。
ONNX Runtime(ORT)是近年来兴起的AI推理框架软件,被大量AI应用作为基础AI推理引擎。ORT可支持PyTorch、Tensorflow、TFLite等多种格式的模型输入,以及CPU、GPU、IoT、NPU、FPGA等多样化算力后端。
在ONNX Runtime 社区1.17.0版本的研制过程中,龙芯中科技术团队与社区保持紧密合作,期间向ONNX Runtime社区代码仓库提交了7697行代码,对矩阵乘法、卷积、转置等核心算子进行深度向量优化。
在社区支持下,龙架构优化代码通过了检视、测试验证等质量保证流程,ONNX Runtime社区自1.17.0版本起正式实现对龙架构的原生支持。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Google 在 MySQL 中推进矢量搜索,在 LLM 支持方面超越 Oracle
谷歌已将向量搜索引入其 MySQL 数据库服务,这一步领先了 MySQL 的所属公司 Oracle,迄今为止,Oracle 尚未给 MySQL 添加任何大型语言模型(LLM)方面的功能。 谷歌云数据库副总裁安迪·古特曼斯 (Andi Gutmans) 表示,在过去 12 年里,谷歌在向量方面的创新速度相当快。目前,在多个 Google Cloud 数据库中提供向量搜索预览版,包括 Cloud SQL for MySQL、Memorystore for Redis 以及 Google 的分布式数据库管理和存储服务 Spanner。 向量是 LLM 的基本元素,自 2022 年 ChatGPT 推出以来,LLM 已成为大型科技公司、政府和媒体的关注焦点。LLM 依赖于单词或语言的其他组成部分,根据其与其他语言的统计相似性将其表示为向量嵌入。Google 支持 Word2Vec,这是一种 2013 年推出的自然语言处理技术,尽管它已被法学硕士采用的转换器架构所取代。 开源数据库服务公司 Percona 的技术传播者 Dave Stokes 表示,Oracle 工程部门近期没有计划向 MySQ...
- 下一篇
经济日报:谨防人工智能“风控”成风险
近年来,人工智能技术快速渗透各行各业,金融业也不例外。不少金融机构开始尝试将人工智能技术应用于风险防控领域,用科技创新来防范金融风险。 当前,我国在“人工智能+风控”领域进行了积极的尝试与探索,与国际金融业同行相比,具有一定的先发优势。在2023年7月的世界人工智能大会上,腾讯对外发布了金融风控大模型。同年11月,腾讯与中国信息通信研究院、中国科学技术大学、新加坡南洋理工大学、中原消费金融、微众银行等科研院校及金融机构联合制定了全球范围内首个金融风控领域的大模型国际标准。 人工智能技术会为金融风控带来什么?理论上,人工智能赋能风控,减少了人为失误和干扰,可以提升风险识别的效率和准确性。然而,考虑到人工智能技术是尚在发展的新事物,仍不成熟,在金融风控领域贸然推广可能带来新的风险。 最令人担忧的是数据泄露的风险。目前,许多金融机构会选择与具有人工智能技术的科技公司在风控领域展开合作,这些合作往往会涉及数据共享。人工智能大模型依靠大量的样本数据进行训练,数据的规模和质量对风控的准确性有着至关重要的影响。理论上,数据越丰富,大模型精准用户画像的能力越强,在信贷审批等方面识别风险的准确度就越高。...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8
- Mario游戏-低调大师作品
- Linux系统CentOS6、CentOS7手动修改IP地址
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Docker快速安装Oracle11G,搭建oracle11g学习环境