搜索[AI 互动体验展]结果-低调大师优秀个人博客

精选列表

搜索[AI 互动体验展]，共10004篇文章

SpringBoot2初体验，简单认识spring boot2并且搭建基础工程

前言发展史 Spring boot 1.1（2014 年 6 月） - 改进的模板支持，gemfire 支持，elasticsearch 和 apache solr 的自动配置。 Spring Boot 1.2（2015 年 3 月） - 升级到 servlet 3.1 / tomcat 8 / jetty 9，spring 4.1 升级，支持 banner / jms / SpringBootApplication 注解。 Spring Boot 1.3（2016 年 12 月） - Spring 4.2 升级，新的 spring-boot-devtools，用于缓存技术（ehcache，hazelcast，redis 和 infinispan）的自动配置以及完全可执行的 jar 支持。 Spring boot 1.4（2017年1月） - spring 4.3 升级，支持 couchbase / neo4j，分析启动失败和RestTemplateBuilder。 Spring boot 1.5（2017年2月） - 支持 kafka / ldap，第三方库升级，弃用 CRaSH 支持和执行器记录器端点以动态修改应用程序日志级别。 Spring boot 2.0（2018 年 03 月）-基于 Java 8，支持 Java 9，支持 Quartz ，调度程序大大简化了安全自动配置，支持嵌入式 Netty。 SpringBoot 1.x再见，拥抱SpringBoot 2.x 2019年8月6日，Spring 官方在其博客宣布，Spring Boot 1.x 停止维护，Spring Boot 1.x 生命周期正式结束。如今 Spring Boot 1.X 版本最后将永久的定格在 v1.5.22.RELEASE，其实回想起来自从 Spring Boot 1.0 发布已经过去了 5 年多，相当于 Spring Boot 一年发布一个大的子版本，然后到了现在的 1.5.x。正在使用 Spring Boot 1.x 需要立刻升级吗？ spring Boot 1.x 只是停止维护，并不是不能用了，如果你不是特别着急想用 Spring Boot 2.x 的新特性，再用个几年也是没有任何问题的。 Spring Boot 1.x 到 2.x 中间更新了很多 API 以及依赖组件。升级时需要先将 Spring Boot 1.X 系列升级到 1.5.x，再从 1.5.x 升级到 2.x 最新稳定版本。 Spring Boot 2.x 对 Java 环境的要求最低为 JDK 8，可能还有很多的公司服务器还在 1.6 或者 1.7 的环境中跑着，升级的时候也需要先升级服务器的基础环境。如果项目中使用了微服务架构，建议可以一个一个子服务进行升级，不要一次全部升级完成，保障整个服务在升级过程的稳定性。建立Springboot工程有两种方式 1.通过官网快速构建 2.手动构建Springboot工程注:这两种方式在本文都会提到，本文仅构建简单的Springboot工程，如果需要构建Maven聚合的Springboot工程请期待后续文章一.官网快速构建 1.Springboot官网提供了一个快速构建工程的方案网址:https://start.spring.io/ 填写一些基本信息 2.下载并解压工程(工程目录如下,是一个标准的Maven工程) 3.Eclipse导入Maven工程注:请升级至Eclipse_v2019.09，否则导入代码会报错。并且该代码依赖于Maven，所以需要提前准备Maven环境，并且导入的时候需要下载Jar请耐心等待。导入完成如图所示 4.Springboot工程目录结构介绍 5.运行项目打开SpringbootApplication.java类运行其main方法即可注:此时项目运行在8080默认端口，用浏览器访问即可。由于我们没写任何代码仅仅测试项目所以访问会报404错误，如下图所示二.手动构建Springboot工程 1.创建一个Maven工程创建出来的工程如下注:第一次创建Maven工程，需要提前准备Maven环境、并且初次创建Maven项目需要去中央仓库下载Jar包，请耐心等待。 2.修改Maven的配置文件pom.xml 添加spring-boot-starter-parent xml 复制代码 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.2.2.RELEASE</version> <relativePath />  </parent> 添加web依赖 xml 复制代码 <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> </dependencies> 添加springboot打包插件 xml 复制代码 <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> </plugins> </build> 注:由于修改了maven配置文件，工程会报错。所以需要刷新工程。 3.创建启动类 java 复制代码 package org.xujun; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; @SpringBootApplication public class SpringbootMyApplication { public static void main(String[] args) { SpringApplication.run(SpringbootMyApplication.class, args); } } 4.运行项目参考[通过官网快速构建]的启动方式即可总结:如果你看到了以上的404报错恭喜你，项目已经构建成功了。

2025-09-05

Springboot2将连接池hikari替换为druid，体验最强大的数据库连接池

前言什么是数据库连接池？数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。这项技术能明显提高对数据库操作的性能。数据库连接池对比 Druid： Druid是Java语言中最好的数据库连接池，Druid能够提供强大的监控和扩展功能，是一个可用于大数据实时查询和分析的高容错、高性能的开源分布式系统，尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况时，Druid仍能够保持100%正常运行。主要特色：为分析监控设计；快速的交互式查询；高可用；可扩展；Druid是一个开源项目，源码托管在github上。 HikariCP： HikariCP通过优化(concurrentBag，fastStatementList )集合来提高并发的读写效率。并且使用threadlocal缓存连接及大量使用CAS的机制，最大限度的避免lock。单可能带来cpu使用率的上升。HikariCP从字节码的维度优化代码。 (default inline threshold for a JVM running the server Hotspot compiler is 35 bytecodes ）让方法尽量在35个字节码一下，来提升jvm的处理效率。未来到底是Druid还是HikariCP的天下？其实这个是根据自己的需求来选择的。Druid监控做的好，当然也快。而HikariCP的特定就是快。所以我的经验是需要监控的时候选择Druid，否则选HikariCP。之前整合MyBatis的时候由于SpringBoot的默认连接池就是使用HikariCP，所以本文主要讲解如何替换hikari为druid 编码 1.添加druid依赖由于SpringBoot默认采用hikari连接池，因此添加druid依赖后我们会去除hikari依赖编辑pom.xml文件将 xml 复制代码 <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.1.1</version> </dependency> 修改为 xml 复制代码 <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.1.1</version> <exclusions> <exclusion> <groupId>com.zaxxer</groupId> <artifactId>HikariCP</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>com.alibaba</groupId> <artifactId>druid-spring-boot-starter</artifactId> <version>1.1.21</version> </dependency> 2.修改SpringBoot的配置文件application.properties 将 sh 复制代码 # 数据库配置 # spring.datasource.name : 数据源名称 # spring.datasource.driverClassName : 数据库驱动 # spring.datasource.url : 数据库连接地址 # spring.datasource.username : 数据库用户名 # spring.datasource.password : 数据库密码 # spring.datasource.type : 数据库类型 # spring.datasource.hikari.pool-name : 数据库连接池名称 # spring.datasource.hikari.minimum-idle : 最小连接数 # spring.datasource.hikari.maximum-pool-size : 最大连接数 # spring.datasource.hikari.auto-commit : 是否自动提交 # spring.datasource.hikari.idle-timeout : 连接闲置超时时间 # spring.datasource.hikari.max-lifetime : 连接在连接池中的存活时间 # spring.datasource.hikari.connection-timeout : 连接数据库超时时间 # spring.datasource.hikari.connection-test-query : 连接测试语句 spring.datasource.name=mysqlDataSource spring.datasource.driverClassName=com.mysql.cj.jdbc.Driver spring.datasource.url=jdbc:mysql://127.0.0.1:3306/springBoot2?useUnicode=true&characterEncoding=utf-8&useSSL=true&serverTimezone=Asia/Shanghai spring.datasource.username=root spring.datasource.password= spring.datasource.type=com.zaxxer.hikari.HikariDataSource spring.datasource.hikari.pool-name=hikariPool spring.datasource.hikari.minimum-idle=5 spring.datasource.hikari.maximum-pool-size=20 spring.datasource.hikari.auto-commit=true spring.datasource.hikari.idle-timeout=30000 spring.datasource.hikari.max-lifetime=1800000 spring.datasource.hikari.connection-timeout=30000 spring.datasource.hikari.connection-test-query=SELECT 1 替换为 sh 复制代码 # 数据库配置 # spring.datasource.name : 数据源名称 # spring.datasource.driverClassName : 数据库驱动 # spring.datasource.url : 数据库连接地址 # spring.datasource.username : 数据库用户名 # spring.datasource.password : 数据库密码 # spring.datasource.type : 数据库类型 # spring.datasource.druid.initial-size : 初始化时建立物理连接的个数.初始化发生在显示调用init方法,或者第一次getConnection时 # spring.datasource.druid.min-idle : 最小连接池数量 # spring.datasource.druid.max-active : 最大连接池数量 # spring.datasource.druid.max-wait : 获取连接时最大等待时间,单位毫秒.配置了maxWait之后,缺省启用公平锁,并发效率会有所下降,如果需要可以通过配置useUnfairLock属性为true使用非公平锁 # spring.datasource.druid.time-between-eviction-runs-millis : 配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位是毫秒 # spring.datasource.druid.min-evictable-idle-time-millis : 配置一个连接在池中最小生存的时间,单位是毫秒 # spring.datasource.druid.validation-query : 用来检测连接是否有效的sql,要求是一个查询语句,常用select 'x'.如果validationQuery为null,testOnBorrow,testOnReturn,testWhileIdle都不会起作用 # spring.datasource.druid.test-on-borrow : 申请连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能 # spring.datasource.druid.test-on-return : 归还连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能 # spring.datasource.druid.test-while-idle : 建议配置为true,不影响性能,并且保证安全性.申请连接的时候检测,如果空闲时间大于timeBetweenEvictionRunsMillis,执行validationQuery检测连接是否有效 # spring.datasource.druid.pool-prepared-statements : 是否缓存preparedStatement,也就是PSCache.PSCache对支持游标的数据库性能提升巨大,比如说oracle.在mysql下建议关闭 # spring.datasource.druid.max-pool-prepared-statement-per-connection-size : 要启用PSCache,必须配置大于0,当大于0时,poolPreparedStatements自动触发修改为true.在Druid中,不会存在Oracle下PSCache占用内存过多的问题,可以把这个数值配置大一些,比如说100 spring.datasource.name=mysqlDataSource spring.datasource.driverClassName=com.mysql.cj.jdbc.Driver spring.datasource.url=jdbc:mysql://127.0.0.1:3306/springBoot2?useUnicode=true&characterEncoding=utf-8&useSSL=true&serverTimezone=Asia/Shanghai spring.datasource.username=root spring.datasource.password= spring.datasource.type=com.alibaba.druid.pool.DruidDataSource spring.datasource.druid.initial-size=2 spring.datasource.druid.min-idle=2 spring.datasource.druid.max-active=20 spring.datasource.druid.max-wait=60000 spring.datasource.druid.time-between-eviction-runs-millis=60000 spring.datasource.druid.min-evictable-idle-time-millis=300000 spring.datasource.druid.validation-query=SELECT 'x' spring.datasource.druid.test-on-borrow=false spring.datasource.druid.test-on-return=false spring.datasource.druid.test-while-idle=true spring.datasource.druid.pool-prepared-statements=false spring.datasource.druid.max-pool-prepared-statement-per-connection-size=20 3.测试结果运行项目，并且访问[http://127.0.0.1:8080/mybatis]。结果如下图所示说明：本文仅仅替换了一个数据库连接池，对正常的持久化数据并无影响。所以之前编写的MyBatis代码还是能运行成功。当然druid连接池最擅长的监控本文还未讲解。但是放心，后续会有文章讲解druid的数据库监控。

2025-09-05

如何构建低延时的直播体验，让互动更实时？

直播的及时性和互动性让他成为信息触达、互动沟通的新媒介，但直播的实时互动效果够好了吗？传统的直播技术延迟非常大，从观众评论到看到主播给出反馈一般要在

2020-06-15

AI 互动给玩家的完美答卷

今年 5 月手游市场热度高涨，多款头部作品接连登顶，老牌热门游戏收入再创新高，新品、爆款、周年庆活动接连登场，行业整体十分热闹。

2026-07-28

AI互动叙事作品-怪谈回档：正式上线

从开局的人格倾向测试，到AI动态生成的剧情推进，再到最后的轮回回档——理论上，流程已穷尽所有异常路径。

2026-07-28

AI 实时对话开启粉丝互动新时代

通过 AI 驱动的个性化沟通使得艺人、网红能够与他们的粉丝群体建立更加紧密、持久的互动联系。与传统模式相比，深度情感共鸣、实时反应与沉浸式体验让AI驱动的粉丝互动应用正成为新的行业热点。

2025-06-09

腾讯内测“上头蛙”AI 互动故事小程序

消息称，腾讯正在内部测试一款名为“上头蛙”的AI故事互动小程序，主打由AI驱动的沉浸式互动叙事体验，试图在泛娱乐与生成式人工智能的交汇点上，开辟一条专属于年轻人的内容新路径。

2026-01-09

互动游戏团队如何将性能体验优化做到TOP级别

一、背景随着互动游戏业务 DAU 量级增加，性能和体验重要性也越发重要，好的性能和体验不仅可以增加用户使用体感，也可以增加用户对于互动游戏的使用粘性。

2024-02-23

AI Native工程化：百度App AI互动技术实践

01 背景随着大模型技术在互动AI应用中的探索和实践，我们见证了其在用户体验和平台互动氛围方面的显著成效。这种技术不仅改善了用户互动率和参与时长，还为提供更丰富的互动体验开辟了新途径。

2023-12-21

快看漫画联手 MiniMax 发布 AI 互动漫画

快看漫画正式发布了全新的内容形态——“AI陪伴互动漫画”，该产品通过将 AI 技术与完整的漫画世界观深度融合。

2025-12-26

COMPUTEX展 CPX论坛聚焦AI与物联网

本文讲的是COMPUTEX展 CPX论坛聚焦AI与物联网2017年5月30至6月3日COMPUTEX(台北国际电脑展)将在台湾台北市盛大举行，汇集1,600家来自全球26个国家与地区的菁英厂商，展出规模达到

2017-09-12

每日一博 | 互动游戏团队如何将性能体验优化做到 TOP 级别

2024-03-15

清华大学开源多智能体 AI 互动课堂平台：OpenMAIC

清华大学近日开源了全球首个多智能体生成式学习 AI 技术框架：OpenMAIC。

2026-03-17

AI动漫制作的体验

说实话，在用 WorkBuddy 之前，我对"AI 生成视频"的认知还停留在那种几秒钟的、有点诡异的 demo 上。但当它真的把我的龙珠手绘图变成了会动的战斗场景时，我承认——我"哇"出了声。

2026-07-17

紫光展锐五年再造一个“展讯”

近年来，中国芯片产业得到了很大的发展，并涌现出了华为海思、展讯等芯片设计公司，在IC Insights公布的2015年全球前十大IC设计公司中，华为海思和展讯更是名列前十之列。

2017-07-04

BongoCat —— 互动桌面宠物应用

BongoCat 是一个可爱地互动桌面宠物应用，让你的桌面充满乐趣！本项目灵感来源于MMmmmoko的Bongo Cat Mver。

2025-04-25

互动玩法任务平台介绍

作者：京东科技雷自海一、概述任务平台是科技内各业务方开展互动玩法的中心化平台，支撑科技内拉新、促活、交易等业务场景，包含基础任务、基于任务的通用活动玩法和业务投放能力。

2023-02-13

ItemTouchHelper 实现交互动画

android.R.color.darker_gray)); }else { viewHolder.itemView.setBackgroundColor(color); } } } /** * 当item的交互动画结束时触发

2020-02-13

展心展力 metaapp：基于 DeepRec 的稀疏模型训练实践

作者 metaapp-推荐广告研发部：臧若舟，朱越，司灵通 1 背景推荐场景大模型在国内的使用很早，早在 10 年前甚至更早，百度已经用上了自研的大规模分布式的 parameter server 系统结合上游自研的 worker 来实现 TB 级别的万亿参数的稀疏模型。后来，各家平台也陆续基于这种方案，开发了自己的分布式训练系统，普遍特点是大量使用 id embedding，因此参数量巨大，模型大小也非常夸张。当然，随着开源训练工具 TensorFlow/Pytorch 的流行，使用 TensorFlow/Pytorch 作为 worker，结合自研 ps 的方案也十分流行。究其原因，以 TensorFlow 为例，虽然内置了分布式训练系统，但是对于大规模 id embedding 的支持却非常糟糕，无法作为完整的平台使用。而使用 TensorFlow+ 自研 ps 的方案也存在不少问题，比如自研 ps 一般对于特征输入都有特定的要求、二次开发成本比较高等。一个典型的分布式 worker-ps 架构 2 业务介绍 metaapp- 推荐广告研发部，主要负责 metaapp 拳头产品 233 乐园的首页信息流的推荐和广告系统，是比较传统的推广搜组。我们在 2020 年之前也是采用了 TensorFlow+ 自研分布式 ps 的方案，模型大小在接近 TB 级别（业务体量较小），整个方案的迭代和维护成本都比较高。在这种背景下，经过多方考量，阿里云机器学习平台 PAI 开源的 DeepRec（脱胎于 PAI-TF），作为支持了淘宝搜索、猜你喜欢、定向、直通车等核心业务的训练平台，直接基于 TensorFlow 做二次开发，针对稀疏模型在分布式、图优化、算子、Runtime 等方面进行了深度的性能优化，并且完全开源。而因为我们公司本身跟阿里云有着深度的合作，阿里云也主动介绍了当时还是内部项目的 DeepRec 给我们尝试。在近 2 年的工作后，DeepRec 已经全量用于我们的模型训练和线上 inference，并且取得了显著的性能提升和成本下降。 3 稀疏模型训练 3.1 EmbeddingVariable 多级存储由于模型参数量大，一些特征的 embedding 大小达到了接近 TB 级别，完全基于内存存储对于成本的要求过高，因此自然而然就会想到多级存储：将最热的 embedding 放在显存或者内存里，其余的可以分级放在 PMEM、SSD 等成本较低的存储介质中。而 DeepRec 中提供了基于 EmbeddingVariable 的 Embedding 多级存储功能。DeepRec 目前对于 embedding 存放在各种存储介质的支持已经相当完善。下面介绍下我们团队升级 DeepRec 在存储这一块的过程和经验： 3.1.1 compaction 的性能问题我们原本基于自研的分布式 parameter server，而当时 PMEM 类的存储介质还不普及，因此我们选择了比较高性能的 SSD 作为多级存储介质。于是我们自然而然采用了类 leveldb（rocksdb）的方案作为 SSD 存储方案。但这种方案在模型训练时，由于参数不断增加和更新，后台会进行频繁的 compaction，此时会有严重的写放大问题导致 ps 的读取时间大大延长，从而导致模型训练的瓶颈几乎都在 ps 侧。ps：据说 rocksdb 在 2022 年底的 7.5.3 版本大幅改进了 compaction 的性能，在后台 compaction 时几乎不会影响读取的性能。 3.1.2 DeepRec 的方案而在早期我们试用 DeepRec 时，DeepRec 的 EmbeddingVariable 对于 SSD 存储的方案同样是基于 leveldb，因此同样遇到了跟我们自研的方案类似的问题。后续我们将此问题的测试结果反馈给了 DeepRec 相关的同学，他们基于此后续推出了基于 SSDHASH 的存储方案，大大提升了 compaction 时的读取性能，因此模型训练基于不再受困于 ps 的读取性能问题。后续又进一步了基于 SSDHASH 的同步和异步两种 compaction 的方式。使用同步 compaction 时，向 SSD 写入数据和 compaction 将会使用同一个线程，异步时则各使用一个线程。这里也推荐大家使用这种方案。 3.1.3 压缩模型大小进一步的，如果能把模型大小控制在数十 GB，那 ps 的性能就可以进一步提升了。因为采用 DeepRec，自定义各种压缩方式的算子变得非常轻松。我们调研并实现了了多篇 embedding 压缩方向的 paper，最后采用了binary code的方式实现了 embedding 的 multihash 方案，可以自由控制 embedding 的大小。我们尝试在最大的特征 uid embedding 上使用了 multihash，把模型大小从 800GB 降低到 40GB 以下，auc 的损失仅在千分之三左右，线上点击率下降了 1.5%；进一步的，我们通过优化序列推荐模型，更好的通过序列特征建模了用户的个性化，可以发现在序列模型的基础上把 uid embedding 换成 multihash 的方案，对于线上点击率的影响仅有 0.3% 左右，因此可以放心全量 multihash 方案。我们也把基于 multihash 的 embedding variable 算子以 pr 的形式提交给了 DeepRec。 3.2 基于 GPU 的分布式训练在解决了 ps 的性能瓶颈后，模型训练的速度就和模型 Tensor 计算的算力近似线性相关了。而近几年随着序列模型的发展，搜广推的矩阵计算复杂度也在显著提升。此时使用 gpu+ 大 batch size 来代替 cpu 作为 worker 的方案，无论在性能还是成本控制上都有巨大的优势。而阿里云机器学习平台 PAI 开源的HybridBackend平台就支持了基于 GPU 的分布式训练方案，并且深度支持了 DeepRec。可以看到使用 hb 的方案在训练速度上对比 TF-PS 原生方案的优势。 3.2.1 模型参数完全放在显存里想要充分释放 gpu 的算力，减少因为数据拷贝带来的性能损耗，最好的方案自然是把所有参数都放在 gpu 显存里。上面 2.1.3 提到的压缩模型大小，为这种方案提供了可能性。调大 batch size 则可以进一步提高显卡的利用率。经过测试，在这种情况下，单张 V100 显卡的算力可以超过 20 台 40core worker 节点的算力。 3.2.2 解决了多卡训练丢失数据的问题在单机多卡训练时，我们发现和单卡训练相比有近 1/3 的数据被丢弃，这是由于 hybridbackend 默认使用所有 worker 按照 row group 平分数据的策略，以提高读取效率。当 group 数目不够均分时，多余的数据会被丢弃，当 parquet 文件较多且比较小时，该问题尤为严重。我们通过使用每个 worker 加载所有的 group，再按照 batch 平分数据的策略，极大地缓解了数据丢失的情况，读取压力也在可接收范围内，后续可考虑将两策略结合降低 worker 的读取压力。 4 模型 inference 4.1 痛点在我们的实际场景里，线上 inference 的痛点大部分来自于维护成本。因为推荐广告业务场景，需要大量尝试各种模型在线上分配流量做 AB test，因此线上存在的模型量级大概是 10 倍的基线模型量级。而每次上线一个模型，都需要给对应的模型分配相应的资源，并且这个资源跟 AB test 的流量正相关；而每次调整 AB test 流量（比如模型效果不错，放大流量观察）的时候，又需要调整该模型分配的资源。这个过程比较难实现自动化，往往需要算法工程师手动扩缩容。 4.2 基于 Processer 库的 inference 方案解决痛点上面这个图是我们线上实际的 inference 方案。 4.2.1 单机器运行所有模型基于上面的痛点，我们给出的方案是使用大规格机器（比如 128C，512G 内存）来做线上 inference，然后每台机器都会有线上所有的模型实例。每台机器运行一个 serving-proxy 会自动的管理所有的模型进程，包括模型上下线、模型更新等。这种方案的好处是整个维护成本基本没有了，所有事情基本都自动化完成了。因为线上整体的流量相对稳定（比如扩大 AB test 模型的流量，自然基线模型流量就减少了，整体是稳定的），所以各个模型之间资源竞争也不需要重新分配资源。 4.2.2 基于 DeepRec 提供的 Processer 库 DeepRec Serving Processor 是用于线上高性能服务的 Library，可以参考文档。因为本身是一个独立的 so 包，我们可以很方便的对接到自己的 Serving RPC 框架中。我们采用 golang 语言来完成了我们自己的 serving rpc 项目，优点自然是开发成本低并且性能不错。 4.2.3 使用 DeepRec 的 Session Group 直接使用 TensorFlow 提供的 C++ 接口调用 Session::Run，无法实现多 Session 并发处理 Request，导致单 Session 无法实现 CPU 的有效利用。如果通过多 Instance 方式（多进程），无法共享底层的 Variable，导致大量使用内存，并且每个 Instance 各自加载一遍模型，严重影响资源的使用率和模型加载效率。 DeepRec 中 SessionGroup 可配置一组 Session，并且通过 Round Robin (支持用户自定义策略)方式将用户请求分发到某一个 Session。SessionGroup 对不同 Session 之间的资源进行隔离，每个 Session 拥有私有的线程池，并且支持每个线程池绑定底层的 CPU Core(numa-aware)，可以最大程度地避免共享资源导致的锁冲突开销。SessionGroup 中唯一共享的资源是 Variable，所有 Session 共享底层的 Variable，并且模型加载只需要加载一次。我们使用 session group 后，实测调整到合适的 group 数量，可以提高 50% 的 inference 性能。 4.2.4 基于 oneDNN 的优化 DeepRec 集成了英特尔开源的跨平台深度学习性能加速库 oneDNN（oneAPI Deep Neural Network Library），并且修改 oneDNN 原有的线程池，统一成 DeepRec 的 Eigen 线程池，减少了线程池切换开销，避免了不同线程池之间竞争而导致的性能下降问题。oneDNN 已经针对大量主流算子实现了性能优化，包括 MatMul、BiasAdd、LeakyReLU 等在业务场景中使用到的常见算子，为业务模型提供了强有力的性能支持。更值得一提的是， oneDNN 的算子支持 BF16 数据类型，与搭载 AMX(Advanced Matrix Extensions)指令集的第四代英特尔® 至强® 可扩展处理器同时使用，可显著提升模型训练和推理性能。在 DeepRec Serving Processor 编译选项中，只需加入“--config=mkl_threadpool”，便可轻松开启 oneDNN 优化。 4.2.5 子图优化子图融合是推理性能优化的常用方法。但是对于本模型中左图所示的子图结构含有 Reshape 算子，原生 tensorflow 并没有对应结构的图优化器以及算子实现，我们通过手动融合来实现，融合前后的子图构成如下图所示。这样减少了多余算子的运行开销，减少了内存访问，提升了计算效率。再结合 oneDNN 加速融合算子，最终业务端到端加速了 10%，CPU 利用率下降 10%。 4.2.6 cost model 的设计由于大机器的 cpu core 数较多，而我们是一台机器有所有模型的进程，那么所有模型都共享所有 cpu core 显然会造成不必要的资源竞争等。因此给不同模型设计合理的 cost model 就很有必要。我们目前采用比较简单的方式，因为基线模型和需要做 AB test 的模型资源差别较大（流量差距大），我们会给每个基线模型分配对应的 core，然后让所有非基线模型共享一组 core（总体 AB test 的流量有上限）。虽然这个方案很简单，但是取得了非常好的效果，大概有 30% 的性能提升。 5 后续规划 1、cost model 的优化，显然有更好的方案来动态的调整每个模型需要的 core。我们打算开发更好的 cost model 并提供给 DeepRec。 2、开源我们的 inference 架构方案，因为在我们的业务里，基于 DeepRec processor 设计的 inference 架构带来了巨大的便利，并且性能很好，我们预计在上半年会开源我们的 inference 架构方案，欢迎大家到时关注。

2023-04-11

GPTBots 登陆东京秋季 AI 展，企业级 AI 方案精准契合日本 DX 需求

GPTBots登陆东京秋季AI展，企业级AI方案精准契合日本DX需求近日，日本规模最大的人工智能展会 —— 东京秋季 AI 展（AI EXPO TOKYO [Autumn]）在幕张展览馆举办。

2025-10-22

2016首都网络安全日系列活动之打击电信网络诈骗宣传体验展

【大咖・来了第7期】10月24日晚8点观看《智能导购对话机器人实践》 4月28日，“4.29首都网络安全日”系列活动之打击电信网络诈骗宣传体验展在北京展览馆拉开帷幕。

2016-04-29

【AI Agent展】美创数据安全多智体——以AI驱动，重构数据安全运营闭环

美创数据安全多智体是一款面向数据安全运营场景的AI Agent产品，基于多维日志采集、模型驱动识别、上下文语义分析、本地知识库、RAG检索增强以及大模型推理能力，构建“感知-识别-响应-闭环”的智能安全运行体系

2026-07-27

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。