首页 文章 精选 留言 我的

精选列表

搜索[上下文压缩],共10000篇文章
优秀的个人博客,低调大师

WorkBuddy 实战:一篇 Markdown 稿件,90 分钟压缩到 7 分钟直发公众号草稿箱

微信公众号技术文章的发布链路——从 Markdown 排版到图片上传、再到推送草稿箱,通常一篇要 90 分钟。本文记录如何用 WorkBuddy 把这条链路沉淀成可复用技能 wechat-mp-publisher:首次约 40 分钟跑通技能创建、示例稿件和凭据配置,之后每篇只要 7 分钟。全程 19 张实操截图、3 个真实踩坑,最终产出是后台草稿箱里可验收的一篇文章。

优秀的个人博客,低调大师

高并发分账系统的性能优化实战:从500ms到50ms的延迟压缩

在交易中台、电商平台、本地生活服务系统的架构体系中,分账清算是典型的“低频次业务触发、高复杂度资金计算、强一致性要求”核心链路。不同于普通业务接口,分账链路一旦出现延迟、堆积、超时,不会直接导致用户下单失败,但会引发商户结算延迟、对账数据断层、退款回滚失败、财务夜间补量等隐性线上事故。

优秀的个人博客,低调大师

卷积神经网络——本质上是在利用卷积做特征压缩,然后再全连接

原文:https://www.zybuluo.com/hanbingtao/note/485480 写得非常好,可以细读 全连接网络 VS 卷积网络 全连接神经网络之所以不太适合图像识别任务,主要有以下几个方面的问题: 参数数量太多考虑一个输入1000*1000像素的图片(一百万像素,现在已经不能算大图了),输入层有1000*1000=100万节点。假设第一个隐藏层有100个节点(这个数量并不多),那么仅这一层就有(1000*1000+1)*100=1亿参数,这实在是太多了!我们看到图像只扩大一点,参数数量就会多很多,因此它的扩展性很差。 没有利用像素之间的位置信息对于图像识别任务来说,每个像素和其周围像素的联系是比较紧密的,和离得很远的像素的联系可能就很小了。如果一个神经元和上一层所有神经元相连,那么就相当于对于一个像素来说,把图像的所有像素都等同看待,这不符合前面的假设。当我们完成每个连接权重的学习之后,最终可能会发现,有大量的权重,它们的值都是很小的(也就是这些连接其实无关紧要)。努力学习大量并不重要的权重,这样的学习必将是非常低效的。 网络层数限制我们知道网络层数越多其表达能力越强,但是通过梯度下降方法训练深度全连接神经网络很困难,因为全连接神经网络的梯度很难传递超过3层。因此,我们不可能得到一个很深的全连接神经网络,也就限制了它的能力。 那么,卷积神经网络又是怎样解决这个问题的呢?主要有三个思路: 局部连接这个是最容易想到的,每个神经元不再和上一层的所有神经元相连,而只和一小部分神经元相连。这样就减少了很多参数。 权值共享一组连接可以共享同一个权重,而不是每个连接有一个不同的权重,这样又减少了很多参数。 下采样可以使用Pooling来减少每层的样本数,进一步减少参数数量,同时还可以提升模型的鲁棒性。 对于图像识别任务来说,卷积神经网络通过尽可能保留重要的参数,去掉大量不重要的参数,来达到更好的学习效果。 接下来,我们将详述卷积神经网络到底是何方神圣。 卷积神经网络是啥 首先,我们先获取一个感性认识,下图是一个卷积神经网络的示意图: 网络架构 如图1所示,一个卷积神经网络由若干卷积层、Pooling层、全连接层组成。你可以构建各种不同的卷积神经网络,它的常用架构模式为: INPUT -> [[CONV]*N -> POOL?]*M -> [FC]*K 也就是N个卷积层叠加,然后(可选)叠加一个Pooling层,重复这个结构M次,最后叠加K个全连接层。 对于图1展示的卷积神经网络: INPUT -> CONV -> POOL -> CONV -> POOL -> FC -> FC 卷积神经网络输出值的计算 卷积层输出值的计算 我们用一个简单的例子来讲述如何计算卷积,然后,我们抽象出卷积层的一些重要概念和计算方法。 假设有一个5*5的图像,使用一个3*3的filter进行卷积,想得到一个3*3的Feature Map,如下所示: 为了清楚的描述卷积计算过程,我们首先对图像的每个像素进行编号,用表示图像的第行第列元素;对filter的每个权重进行编号,用表示第行第列权重,用表示filter的偏置项;对Feature Map的每个元素进行编号,用表示Feature Map的第行第列元素;用表示激活函数(这个例子选择relu函数作为激活函数)。 例如,对于Feature Map左上角元素来说,其卷积计算方法为: 计算结果如下图所示: 下面的动画显示了整个Feature Map的计算过程: 上面的计算过程中,步幅(stride)为1。步幅可以设为大于1的数。例如,当步幅为2时,Feature Map计算如下: Pooling层输出值的计算 Pooling层主要的作用是下采样,通过去掉Feature Map中不重要的样本,进一步减少参数数量。Pooling的方法很多,最常用的是Max Pooling。Max Pooling实际上就是在n*n的样本中取最大值,作为采样后的样本值。下图是2*2 max pooling: 除了Max Pooing之外,常用的还有Mean Pooling——取各样本的平均值。 全连接层 全连接层输出值的计算和上一篇文章零基础入门深度学习(3) - 神经网络和反向传播算法讲过的全连接神经网络是一样的,这里就不再赘述了。 卷积神经网络的训练 和全连接神经网络相比,卷积神经网络的训练要复杂一些。但训练的原理是一样的:利用链式求导计算损失函数对每个权重的偏导数(梯度),然后根据梯度下降公式更新权重。训练算法依然是反向传播算法。 本文转自张昺华-sky博客园博客,原文链接:http://www.cnblogs.com/bonelee/p/7716284.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

大模型多轮对话系统开发与优化:攻克上下文短板,全面升级Chatbot用户交互体验20.4

相信大家都一样,最刚开始调试模型的时候,单轮问答效果特别好,用户问一句、AI答一句,精准度很高,几乎看不出什么问题。但只要上线做多轮连续对话,各种毛病就全都暴露出来了。对话多几轮之后,AI就开始忘事、答非所问,有时候前后说法自相矛盾,重复啰嗦,而且对话越长,回复速度越慢、内容越乱。

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册