首页 文章 精选 留言 我的

精选列表

搜索[Web 应用托管],共10000篇文章
优秀的个人博客,低调大师

大模型AI对话前端应用实践:深度详解流式响应、工具调用状态与长会话同步落地方案24.1

现在打开各类AI产品,不管是通用大模型对话平台,还是嵌入业务系统的AI助手,最核心的用户体验就是对话式交互。和传统网页、APP的交互逻辑不同,AI对话没有固定的页面跳转、按钮交互逻辑,核心是实时流式输出、动态工具调用、持续长会话留存三大核心能力。在做前端适配时,也遇到一堆棘手问题:接口返回的流式数据怎么逐字渲染?模型调用工具时如何展示加载中间状态?多轮长对话如何同步界面和后台状态?会话刷新、重试、断连续传该怎么处理?

优秀的个人博客,低调大师

大模型长期记忆系统设计:记忆压缩、去重、动态遗忘、时间衰减与冲突处理应用实践24.0

通用大模型都存在一个明显短板:上下文窗口有限。单次对话结束,超出窗口范围的历史信息就会丢失。想要实现长期对话、持续运行的AI智能体、自动化业务Agent,单纯依靠Prompt上下文远远不够。通常我们把全部历史对话直接塞进提示词,短期内尚可运行,随着交互次数增多,Token数量爆炸、推理成本飙升、大量冗余信息干扰模型判断,对话质量持续下滑。

优秀的个人博客,低调大师

jquery-validate在前端数据校验中的应用以及remote异步调用实践-以若依为例

随着技术的不断演进,在我们的日常开发过程中,大家一定会遇到很多数据安全的场景。在以往的程序中,我们只要求将数据正常提交到后台即可,对于数据的安全性和准确性,并没有做过多的要求和检验,也因此产生了很多的数据质量问题。比如数据质量有问题,甚至出现一些会导致业务发生异常的例子。不管是传统的单体化架构还是现在的前后端分离架构,数据的校验通常会分为前端和后端处理两个方面。在平时的开发过程中,很多前端的同学会觉得,安全是后端需要考虑的,前端只需要把数据提交给后台即可,那么数据的校验规则由后台来保证。那一些后端的同学则会想,数据的格式校验等操作应该是前言的同学来负责,不经过校验的数据是不允许提交到后台,直接前端就提示给用户,必须按照要求来进行相应参数的设置。

优秀的个人博客,低调大师

分层配额显存共享方案:RTX4090运行ChatGLM2/3双模型,显存池化应用实践19.4

本地私有化部署ChatGLM系列模型是比较普遍的落地场景,实际过程中也必定会碰到一个硬性资源瓶颈:一张24G的 RTX4090 显卡,原生框架只能串行加载ChatGLM2-6B、ChatGLM3-6B,无法同时在线提供服务。单独加载其中一个FP16权重模型就要占用11GB左右显存,空载状态下大量显存空白闲置;如果强行开两个Python进程分别跑两代GLM,CUDA进程内存隔离机制会直接抛出OOM显存溢出错误。

优秀的个人博客,低调大师

幂等性在大模型服务中的核心应用:解决重复请求、重复扣费与重复推理问题.171

在大模型API接口、对话会话服务、知识库RAG接口线上落地过程中,重复请求是无法规避的常态问题。客户端网络抖动、前端按钮连续点击、浏览器页面刷新、接口超时自动重试、网关负载均衡重试、批量任务异步重调度等场景,都会导致同一条用户提问、同一次模型调用被反复提交。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册