首页 文章 精选 留言 我的

精选列表

搜索[自我进化],共7132篇文章
优秀的个人博客,低调大师

反思机制在运维Agent中的应用:自我纠错与策略调整

在AI原生运维(GenOps)浪潮全面落地的当下,运维Agent已逐步替代传统自动化脚本,成为承载业务变更发布、故障应急处置、集群资源调度的核心智能化载体。但传统单次执行、无复盘、无迭代的运维Agent架构,普遍存在策略固化、场景适配性差、误操作不可逆、故障阻断能力弱等短板,极易引发业务故障蔓延、SLO指标不达标、高危变更事故等生产风险。

优秀的个人博客,低调大师

LockBit勒索软件以快速自我传播的趋势威胁着网络设备

即将开播:5月14日,Jenkins在K8S下的三种部署流程和实战演示 LockBit勒索软件的一个特性是允许攻击者在几个小时内破坏一个公司网络,并部署勒索软件加密数百台设备。 2019年9月,LockBit是一个相对较新的勒索软件即服务(RaaS),开发者负责支付网站和开发,并注册分支机构以分发勒索软件。 LockBit勒索 作为此设置的一部分,LockBit开发人员将收取一定比例的赎金,通常约为25%至40%,而分支机构则会获得更大的赎金份额,约为60%至75%。 三小时内就可成功加密 McAfee实验室和网络安全公司Northwave的研究人员在共同撰写的一份新报告中提到,我们了解了一个LockBit勒索软件是如何入侵一个公司网络,并加密了大约25台服务器和225个工作站的。而完成这些仅需三个小时即可。 据Northwave的网络安全专家Patrick Van Looy称,黑客通过一个过时的VPN服务强行使用一个管理员帐户,从而获得了对网络的访问权。 大多数网络攻击都是在黑客破坏网络后才获得对管理员帐户的访问权限,而他们却跨越了这一步,直接获得了管理员账户权限,这样就可以迅速的在网络上部署勒索软件。 Looy通过电子邮件告诉BleepingComputer,在这个典型案例中,通过暴力破解VPN获得访问权限后,攻击者几乎可以立即启动勒索软件。大约在凌晨1:00左右攻击者进行了初始访问,之后勒索软件被启动,在凌晨4:00左右,攻击者注销。 虽然,不是网络上的所有设备都被加密了,但这很可能是因为勒索软件中的一个错误而导致了它崩溃的结果。 不过,对于那些已加密的系统,它是通过LockBit内置中的一个特性快速完成的。 LockBit传播 McAfee的分析表明,LockBit勒索软件包含一项功能,可将其扩展到网络上的其它计算机上。 执行时,LockBit除了加密设备的文件外,还将执行ARP请求以查找网络上的其他活动主机,然后尝试通过SMB连接到它们。 通过SMB连接到其他计算机 如果勒索软件能够通过SMB连接到计算机,它将发出远程PowerShell命令来下载并执行勒索软件。 下载并执行LockBit勒索软件的命令 网络上越来越多的计算机受到感染,而这些受到感染的计算机有助于加快将勒索软件部署到网络上的其他计算机上。此功能使攻击者能够在短短三个小时内自动入侵网络并加密225台计算机。 攻击越快,被检测到的几率就越小 当攻击者破坏网络时,他们在网络中移动的时间越长,被检测到的机会就越大。 所以,与更高级和更熟练的攻击者相比,那些技术不太熟练的黑客试图在网络中横向传播时,会被频繁地检测到。 然而,像这种可以自动传播勒索软件,使那些初学者的黑客可以更容易的完成攻击。 Looy告诉BleepingComputer: 这与我们经常遇到情况有所不同,通常我们看到攻击者在部署勒索软件之前要在网络中呆几天甚至是几周的时间。而这次,攻击者只在网络中呆了很短的时间。然而,在这种特殊情况下,攻击者不需要具备那么熟练的攻击技术,在获得(管理员)访问权限后,启动勒索软件即可,并且勒索软件可以自动传播。 随着勒索软件部署的快速性和方便性的提升,我们会看到LockBit有继续增长的趋势,威胁到更多的设备。

优秀的个人博客,低调大师

数据科学家的自我修养 | 哪些技能是必不可少的?

市场上对数据科学家的要求特别多:需要掌握机器学习、计算机科学、统计学、数学、数据可视化,深度学习等知识。要想全部掌握这些方面的知识,科学家需要学习数十种语言、框架和技术。那么,为此数据科学家应该如何合理地分配时间,该掌握哪些技能呢? 在本文中,我对求职网站进行搜索,找出对数据科学家的技能要求。我分别分析了通常的数据科学技能和特定语言以及工具。我具体搜索了2018年10月10日LinkedIn、Indeed、SimplyHired、Monster、以及AngelList这些求职网站。以下图表显示了在每个网站中发布了多少数据分析师工作。 我分析了许多工作列表和调查,想列出当中最常见的技能要求。“管理”这类词没有包含在内,因为许多求职发布中都会包含这个词。 全部搜索都是针对美国地区,关键词中带有“数据科学家”的职位发布,并使用精确匹配搜索减少了结果数量。但是,这种方法确保结果与数据科学家职位相关,并且影响所有搜索项。 AngelList中提供的是招聘数据科学家的公司数量,而不是职位数量。我将AngelList排除在这两种分析之外,因为它的搜索算法是OR的逻辑搜索,而且无法将其修改为AND。如果你搜索"数据科学家""TensorFlow"这类关键词,AngelList表现还不错,但如果你搜索"数据科学家""react.js"也会返回不招聘数据科学家的公司。 Glassdoor也被我排除在外。网站上表示美国目前发布了26,263个"数据科学家"的职位,然而实际只显示了不到900个的职位。此外,Glassdoor发布的数据科学家职位也不可能比起其他主流平台的三倍要多。 最终分析采用了在LinkedIn上400多个职位信息分析通用技能,针对200多个职位信息分析特定技能。当中有一些重复,结果记录在Google Sheet中。 https://docs.google.com/spreadsheets/d/1df7QTgdAOItQJadLoMHlIZH3AsQ2j2_yoyvHOpsy9qU/edit?usp=sharing 我下载了.csv文件并将其导入JupyterLab。然后,我计算出每个百分比,并对招聘网站上的数量进行平均。 此外,我将结果与Glassdoor 在2017年上半年发布的数据科学家职位研究进行比较,并且结合KDNuggets的调查信息。从中可以发现,对于数据科学家而言,有些技能变得越来越重要,而其他技能则逐渐不再重要。之后我们将具体看到。 Glassdoor https://www.glassdoor.com/research/data-scientist-personas/ KDNuggets https://www.kdnuggets.com/2018/05/poll-tools-analytics-data-science-machine-learning-results.html/2 可以在我的Kaggle Kernel 中看到交互式图表和分析。我使用Plotly进行可视化,在写本文时,使用Plotly和JupyterLab有一些难点,具体说明在 Kaggle Kernel 最后的Plotly文档中 Kaggle https://www.kaggle.com/discdiver/the-most-in-demand-skills-for-data-scientists/ Plotly 文档 https://github.com/plotly/plotly.py 1. 通用技能 以下是雇主最希望数据科学家具备的通用技能。 结果表明,通用技能中数据分析和机器学习是数据科学家工作的核心。从数据中收集分析见解是数据科学的主要功能。机器学习是关于开发创建预测性能的系统,这也是十分受欢迎的技能。 数据科学家需要统计学和计算机科学技能,这并不惊讶。统计学、计算机科学和数学也是大学专业,这也可能提高了这些技能出现的频率。 有趣的是,近一半的职位要求中都提到了沟通能力。数据科学家需要能够传达自己的见解,并与他人合作。 人工智能和深度学习并不像其他术语那样经常出现。它们是机器学习的子集,深度学习被用于越来越多的机器学习任务中,之前主要是使用其他算法。如今,大多数用于自然语言处理问题的最佳机器学习算法是深度学习算法。我预计将来在职位信息中,深度学习技能将被越来越明确,而且机器学习将与深度学习越来越类似。 那么雇主希望数据科学家使用哪些特定软件工具?接下来,让我们看到这个问题。 2. 技术技能 以下是雇主最希望数据科学家掌握的前20种特定语言,库和科技工具。 让我们简要介绍一下最常见的技术技能。 Python是最受欢迎的语言。这种开源语言已经非常普及。对初学者而言,这种语言很好上手,有许多支持的资源。绝大多数数据科学工具都与之兼容。Python是数据科学家主要的使用语言。 R语言与Python相差不远。它曾经是数据科学的主要语言,R语言的需求仍然很大。这种开源语言的根源在于统计数据,它非常受统计学家的欢迎。 Python或R语言是从事数据科学工作的必备条件。 SQL的需求也很高。SQL指的是Structured Query Language(结构化查询语言),是与数据库交互的主要方式。在数据科学领域,SQL有时会被忽视,但如果想找数据科学方面的工作,这项技能是很重要的。 接下来是Hadoop和Spark,它们都是Apache的大数据开源工具。 Apache Hadoop是一个开源软件平台,用于分布式存储和分布式处理大型数据集,这些数据集是由商用硬件构建的计算机集群。 Apache Spark是快速的内存数据处理引擎,具有强大且富有表现力的开发API,能够让数据工作者有效地执行流、机器学习或SQL,这些情况需要对数据集进行快速迭代访问。 与Python,R和SQL相比,很少有求职者具备这些技能。如果你会Hadoop和Spark的经验,那么你更有可能在求职中成功。 接下来是Java和SAS。我惊讶地发现在职位描述中,这两种语言出现的频率也很高。通常,Java和SAS在数据科学界的关注度都不高。 接下来是Tableau。这个分析平台和可视化工具功能强大,易于使用且越来越受欢迎。它有一个免费的公共版本,但如果你想保持数据私密就需要花钱。如果你不熟悉Tableau,那么强烈推荐Udemy的 Tableau 10 A-Z 。 下图技能列表显示的语言、框架和其他数据科学软件工具更多。 3. 历史比较 GlassDoor 曾在网站上发布了2017年1月至2017年7月期间,数据科学家的10种最常见的软件技能。这里将GlassDoor的数据与LinkedIn,Indeed,SimplyHired和Monster在2018年10月的平均值进行比较。 结果非常相似。根据我的分析和GlassDoor的调查,Python、R和SQL都是是最受欢迎的技能。而且前九个技能排名稍微有些不同。 结果表明,与2017年上半年相比,R语言、Hadoop、Java、SAS和MatLab的需求量减少,而Tableau的需求量增加。根据局KDnuggets开发人员调查等分析,这也并不意外。在这份调查中显示,R语言、Hadoop、Java和SAS在近年来使用量呈都下降趋势,Tableau呈明显的上升趋势。 4. 建议 根据这些分析的结果,以下是对数据科学家的一些建议。 ●证明自己的数据分析能力,并专注熟练掌握机器学习。 ●提高你的沟通技巧。推荐阅读《Made to Stick》这本书,帮助你提升自己观点的影响力。还可以试试Hemmingway Editor这款app,提高写作的逻辑性。 ●掌握深度学习框架。精通深度学习框架在机器学习方面越来越重要。 ●如果你在犹豫选择Python还是R语言之间做出选择,请选择Python。如果你数量掌握Python,那么可以也考虑学习R语言,这会让你在行业中更占优势。 当雇主在寻找具有Python技能的数据科学家时,他们也期望求职者掌握常见的Python数据科学库:numpy、pandas、scikit-learn和matplotlib。如果你在学习这些工具,建议你使用以下资源: ● DataCamp,DataQuest 两者都是价格合理的在线SaaS数据科学教育产品,你可以在编程时学习,当中都教授了许多技术工具。 ● Data School 拥有各种资源,还包括一系列很赞的YouTube视频,解释各种数据科学概念。 ● McKinney,《Python for Data Analysis 》 本书注重pandas,还讨论了基础的numpy和scikit-learn等知识。 ●Müller,Guido《Introduction to Machine Leaning with Python》 Müller是scikit-learn的主要维护者。这是一本关于用scikit-learn学习机器学习的好书。 如果你想学习深度学习,我建议先学习Keras或FastAI,然后在学习TensorFlow或PyTorch。Chollet的《Deep Learning with Python》这本书是学习Keras的绝佳资源。 除此之外,我建议你了解你感兴趣的内容,尽管这里需要考虑到时间分配等因素。 如果你想通过招聘网站找数据科学家工作,我建议试试LinkedIn,这上面可找到的工作信息是最多的。 在招聘网站找公司时,关键词很重要。关键词方面“ 数据科学 ”得到的结果会是“ 数据科学家 ”的3倍。但是,如果你想准确地找数据科学家的工作,那么最好还是搜索“ 数据科学家 ”。 我建议你制作一个在线作品集,能够很好地展示你的数据科学技能。还建议在你的LinkedIn个人资料中注明自己的技能。 如果你想查看本文中交互式图表及当中使用的代码,请查看我的Kaggle Kernel。 https://www.kaggle.com/discdiver/the-most-in-demand-skills-for-data-scientists/ 原文发布时间为:2018-10-25 本文来自云栖社区合作伙伴“ CDA数据分析师”,了解相关信息可以关注“ CDA数据分析师”。

优秀的个人博客,低调大师

云原生进化论:加速构建 AI 应用

作者:杨秋弟 大家好,我是来自阿里云智能集团的资深产品专家杨秋弟,今天很荣幸能在云栖大会的场合,和大家分享过去一年我们在支持企业构建 AI 应用过程的一些实践和思考。 智能体应用已成为应用架构中的重要组成部分 从事 AI 领域的同仁,无论是科研学者,落地 AI 的企业,还是提供 AI 技术或产品的供应端企业,我想大家都有非常一致的体感,就是 AI 应用的发展是势不可挡的,并正在重塑软件行业,我们来看几组数据: 模型调用增速爆发: GenAI 的支出增长尤其迅猛,预计将从 2023 年的 160 亿美元增长到 2027 年的 1430 亿美元,年均复合增长率(CAGR)高达 73.3%。 新增应用智能化比例高: 到 2027 年,实现人工智能与 6 大重点领域广泛深度融合,新一代智能终端、智能体等应用普及率超 70%。 Agentic AI 逐步进入企业核心系统: 到 2028 年,33% 的企业软件将集成代理型 AI,而 2024 年这一比例还不到 1%。 由此看来,智能体应用已经逐步成为客户应用架构中的重要组成部分。这个演进过程,应用的发展和基础设施的升级是双向驱动、相互成就的。 应用拉动基础设施升级: 智能体应用引入了全新的负载形态:推理计算的实时性、长会话的状态保持、多模态的交互需求,以及对安全、稳定、成本的极致追求。这些要求远远超出了传统云计算的假设,迫使基础设施从资源池化走向智能化:算力需要具备毫秒级弹性、运行时需要具备安全隔离和 session 亲和、通信层需要支持异步与高吞吐,甚至消息队列、存储和网关都要具备 AI 场景感知能力。可以说,应用的需求直接塑造了基础设施的形态。 基础设施赋能应用演进: 当 AI 基础设施具备了 Serverless GPU、AI 网关、智能消息中间件、全栈可观测等能力,智能体应用的开发和落地就能大幅提速。开发者不必为推理延迟、算力调度、安全隔离等底层问题操心,而是可以专注于业务逻辑和场景创新。基础设施的抽象与屏蔽作用,让应用创新的门槛显著降低,推动了智能体应用的规模化普及。 应用与基础设施迭代共振: 随着企业引入更多智能体应用,运行规模与复杂度持续上升,基础设施又会面临新的挑战,比如跨多模型、多智能体、多地域的调用治理。这些反馈会促使基础设施不断演进,并在下一轮迭代中反哺应用。于是,形成了一种"应用---基础设施---应用"的螺旋式发展关系,类似于云原生时代微服务与容器的互动,但在 AI 时代,规模、复杂度和不确定性都更高。 但这一演进过程,并非一帆风顺。从服务云上客户的过程中,我们发现,AI 应用架构落地难点集中在以下三个方面: 全新 Agent 开发技能栈,如何快速开发及上线,聚焦业务,快速验证。 如何快速与已有系统打通,赋能核心系统,利用已有资产。 如何保障新构建的 AI 应用能够稳定、安全地运行,避免在规模化使用中出现不可控风险。 这些问题的解决,需要云基础设施从传统形态升级为 AI 原生架构。AI 基础设施的核心要素包括:具备毫秒级弹性的函数计算运行时、统一流量治理与协议适配的 AI 网关、支撑异步高吞吐通信的消息中间件,以及覆盖模型调用、智能体编排和系统交互的全栈可观测体系。只有在这一新型基础设施的支撑下,智能体应用才能真正成为企业应用架构的"新基建",推动业务持续智能化升级。 因此,我们提炼了上图展示的 AI 原生应用架构,将 AI 运行时、AI 网关、AI MQ、AI Memory、AI 可观测等 8 大关键组件串联起来,形成一套完整的 AI 原生技术栈,我们称之为 AgentRun。企业不必从零开始组装,基于 AgentRun 就可以大幅度缩短从 PoC 到生产上线的时间。 接下去,我们将围绕前面提到的三大挑战,为大家逐一解析 AgentRun 的八大核心组件是如何提供的 AI 原生架构支撑的。 云原生加速智能体开发 有了整体架构蓝图,我们首先要解决最基础的问题:作为企业 IT 系统的"新成员",智能体应该运行在什么样的底座之上? 这就引出了我们对运行时的核心要求。 函数计算 我们发现,Agent 应用有几个典型特征:流量不可预测、多租户数据隔离、容易被注入攻击。这些特征要求运行时必须具备三大核心能力:毫秒级弹性 、会话亲和管理、以及安全隔离。 传统单体或微服务应用的开发以服务为边界,开发者致力于构建功能内聚的单体或微服务,但这往往导致代码逻辑的深度耦合与复杂化。AI Agent 的出现则彻底颠覆了这一模式。其核心不再是构建固化的服务,而是通过大语言模型(LLM)理解用户意图,进而动态、智能地编排一系列原子化的工具集或 Agent。这种全新的开发模式与函数计算(FaaS)的设计哲学不谋而合。函数计算让开发者能以最轻量、最原生的方式将 Agent 的每一个原子能力封装成一个独立的函数。这意味着,开发者构想的任何 Agent 或工具,都可以精准地映射为一个开箱即用、轻量灵活、安全隔离、极致弹性的函数。它不仅带来了更优的开发体验与更低的成本,更关键的是,它极大地提升了 Agent 的生产可用性与与市场推广效率(Go-To-Market),让 AI 创新的规模化落地成为可能。 为了深度拥抱 AI Agent 的需求并践行 Function-to-AI 的理念,函数计算创新性地打破传统 FaaS 的无状态(Stateless)边界。通过原生支持 Serverless 会话亲和性(Session Affinity),为每个用户会话动态分配一个专属的持久化函数实例,该实例可存活长达8小时甚至更久,完美解决了 Agent 多轮对话中的上下文保持难题。数十万级函数百万级会话轻量化管理运维,基于请求感知调度策略支持从零到百万 QPS 的自由伸缩,完美契合了 AI Agent 应用常见的稀疏或突发性流量模式,确保了服务的稳定运行。 工具运行时方面,函数计算内置 Python/Node.js/Shell/Java 等多语言执行引擎,代码执行延迟 < 100ms;内置 Code Sandbox 、Browser Sandbox 、Computer Sandbox 、RL Sandbox 等开箱即用的云沙箱工具。在安全隔离方面,函数计算通过安全容器技术,提供请求级别、会话级别以及函数级别多维度隔离机制,为每一个任务提供了虚拟机级别的强隔离。同时结合会话级别的动态挂载能力,实现计算层与存储层的安全隔离,全场景覆盖 Sandbox 最严苛的代码执行安全与数据安全的诉求。而在模型运行时方面,函数计算则专注于领域模型与小参数大语言模型的托管。 在模型运行时方面,函数计算聚焦于垂类模型与小参数大语言模型,函数计算提供 Serverless GPU 基于内存快照技术,实现毫秒级的忙闲时自动切换,大幅降低 AI 落地成本;依托于请求感知调度策略,可以更好解决 GPU 资源空置或争抢问题,保障业务请求 RT 稳定。通过 GPU 与 CPU 算力的解耦自由组合,单卡甚至 1/N 卡切割的虚拟化技术,为客户提供更细粒度的模型资源配置,让模型托管更经济、更高效。 函数计算作为 Serverless 最典型的产品,目前已服务于百炼、魔搭、通义千问等诸多重要客户,已然成为企业构建 AI 应用时的理想选择。 RocketMQ for AI 有了高效的运行时,当智能体规模扩大、交互模式变得更多样化之后,我们就需要引入异步通信来保证系统的吞吐和稳定性。为此,我们全新发布了 RocketMQ for AI。它的核心创新点是全新发布的 LiteTopic,我们为每个会话动态创建一个轻量级 LiteTopic,用于持久化保存会话的上下文、中间结果等等。LiteTopic 不仅能支持 Agent 的断点续传,还能将多 Agent 通信的吞吐率提升 10 倍之上。 这一创新架构的实现,依托于 RocketMQ 为 AI 场景深度优化的四大核心能力: 百万级 Lite-Topic 支持: 单集群可管理百万级轻量主题,为每个会话独立分配 Topic,实现高并发下的会话隔离,性能无损。 全自动轻量管理: Lite-Topic 按需动态创建,连接断开后自动回收,彻底杜绝资源泄漏,运维零干预。 大消息体传输能力: 支持数十 MB 乃至更大消息,轻松承载长 Prompt、图像、文档等 AIGC 典型数据负载。 严格顺序消息保障: 在单队列内保证消息有序,确保 LLM 流式输出的 token 顺序不乱,支撑连贯流畅的交互体验。 云原生加速智能体和存量系统的融合 相比从 0 开发一个智能体,将存量系统和智能体进行融合,是试错成本相对更低的智能化路径。但通常会遇到以下两个难题: 难题一:存量业务如何与智能体打通 对于大多数企业而言,已经沉淀了庞大的存量系统和服务接口,这些系统是业务的核心资产,但它们通常基于传统的 HTTP/REST 协议构建,缺乏与智能体直接交互的能力。难题在于,如何在不推翻现有架构的情况下,让智能体能够顺畅访问并调用这些存量能力。如果强行改造存量系统,不仅成本高昂,还会影响现有业务的稳定性。因此,需要一个统一的中间层,既能对接存量服务,又能为智能体提供标准化、可治理的调用入口。 阿里云云原生 API 网关正是针对这一场景而设计:它通过协议适配、流量治理、内置安全和可观测能力,将传统 API 平滑地转化为智能体可消费的服务,从而帮助企业低成本实现智能化升级。它具备: 智能体协议优化,支持 SSE、Websocket 等长连接协议,支持 Websocket 无损变更和优雅上下线。 提供企业级能力,包括内置可观测、安全能力、消费者鉴权和灰度发布。 提供硬件加速能力,从而提升 TLS 和 Gzip 性能。 提供丰富的插件生态,且支持热加载与更新。 难题二:如何快速创建与管理 MCP Server 除了打通存量系统,企业还需要不断构建新的智能体工具,尤其是基于 MCP(Model Context Protocol)这一新兴标准协议。但难题在于,如何快速开发、部署和管理 MCP Server,使其能够与智能体无缝衔接。如果缺乏高效的开发运行环境,企业在创建 MCP Server 时往往面临资源准备复杂、部署周期长、难以保证弹性与安全的问题。 对此,阿里云提供了函数计算(Function Compute)作为快速开发和运行 MCP Server 的理想运行时,具备毫秒级弹性、零运维和多语言支持的特点。利用函数计算轻量化、毫秒级弹性、零运维以及内置多语言运行环境等特性,为 MCP Server 提供理想的运行时。利用函数计算一站式开发与广泛集成的能力,提高 MCP 开发的效率。 同时,通过 AI 网关,企业可以在统一入口实现对 MCP Server 的注册、鉴权、灰度、限流和可观测管理,支持零代码将 HTTP 转 MCP,这让企业能够在最短时间内构建并上线 MCP Server,支撑起智能体与业务场景的快速结合。此外,AI 网关提供了 MCP 市场的能力,适用于企业构建私有化的 AI 开放平台。 云原生加速智能体的稳定运行 无论你是从 0 构建一个智能体,还是通过智能体与存量系统进行融合,这只是应用智能化的第一步。当企业把智能化推向生产,还会面临推理延迟、稳定性波动、问题排查困难、安全风险凸显、输出不可靠及成本过高等问题,这些都是企业级 AI 应用在稳定性、性能、安全与成本控制上的系统性挑战。以下我们将从 AI 网关和 AI 观测,来分享我们的一些应对方案。 AI 网关 网关在应用架构中扮演者入口流量管控的角色。但相比传统的 Web 应用,AI 应用的流量特征截然不同,主要体现在高延时、大带宽与流式传输、长连接、API 驱动的特点。因此催生出来网关的新形态------AI 网关。 总的来讲,AI 网关是提供多模型流量调度,MCP 和 Agent 管理,智能路由和 AI 治理的下一代网关。阿里云提供了开源(Higress)和 商业(API 网关)两种 AI 网关的交付形态。在加速智能体稳定运行方面发挥了以下作用: 面向失败设计提高可用性: 通过多模型路由、Failover、灰度,并发控制、限流等能力将模型调用可用性提升到 99.9%+。 预集成安全能力: 对 API-key,消费者凭证进行统一管理、并分权管理、预集成 WAF 防护和安全护栏能力,以提升安全能力。 多协议支持: 集中管理智能体各种调用,包括模型调用、MCP 工具调用,以及 A2A 调用。 AI 可观测 AI 可观测是一系列能够让工程师全面洞察基于大型语言模型构建的应用的实践与工具。 和传统应用不同,AI 应用面临着一系列和所没有的独特挑战,总结来讲有 3 大类: 性能与可靠性问题: 大模型是资源密集型的,延迟峰值和瓶颈时有发生。可观测将所有组件的数据关联起来,使工程师能够精确定位延迟的根源,是模型本身、外部 API 调用还是数据库查询。它还能追踪多步骤流程中的每一步,简化了复杂系统中的调试过程。 成本问题: 许多大模型服务按 Token 使用量收费,若无控制,成本可能意外飙升。可观测工具追踪每个请求的 Token 数、每日总用量等指标,当使用量出现异常高峰时发出警报,帮助团队在收到天价账单前优化提示或设置限制。 质量问题: 大模型的可能输出从训练数据中继承偏见或有害内容,也很有可能产生幻觉,导致输出的内容完全不符合预期,可观测通过提供评估等工具,针对采集的 AI 应用执行过程中各个阶段的输入输出,检测是否含有不当、不准确和危险的内容,通过自动分析和评分帮助工程师及时采取行动。 为应对上述挑战,阿里云 AI 可观测解决方案提供了: 端到端全链路追踪: 提供端到端的日志采集和链路追踪,可视化展示请求在整个 AI 应用中的执行路径。支持对历史对话的灵活查询与筛选,以便于调试和改进。 全栈监控: 包含应用、AI 网关、推理引擎可观测 3 个纬度,观测内容有实时追踪响应延迟、请求吞吐量、Token 消耗,错误率和资源使用情况(如 CPU、内存、API 令牌),并能在指标异常时触发警报,帮助团队在影响用户前快速响应,同时有效监控成本。 自动化评估功能: 通过引入评估 Agent,对应用和模型的输入输出进行自动化的评估,检测幻觉、不一致性或答案质量下降等问题。有效的工具通常会集成评估模板,方便工程师快速的对常见的质量和安全问题进行评估。 AI/Ml平台预集成: 与容器服务,PAI,百炼等平台默认集成,一键接入可观测数据采集,默认提供大盘。 除了完整的解决方案,我们也提供了面向运维与开发人员的智能运维助手,帮助每一个 IT 工程师提升系统异常发现、问题根因定位、故障恢复的效率。 与传统的基于规则的 AIOps 不同,我们的 AIOps 智能体基于多 Agent 架构,具备解决未知问题的自主性。在收到问题后,它会自主地进行规划、执行和反思,从而提升解决问题的能力。在算法层面,我们积累了非常多的原子能力,这些原子包括对海量数据的预处理,异常检测,智能预测等算子,这些都可以作为工具可以被智能体使用。也欢迎大家可以登录我们的控制台进行体验并给我们反馈。 AI DevOps 到这里,AI 原生架构已经基本覆盖智能体快速开发与部署、智能体与存量系统融合以及智能体的稳定运行,但距离真正的规模化落地还差"最后一公里"。也就是如何将这套全新的智能体开发范式融入到企业现有的 DevOps 流程。 阿里云云效 AI DevOps 打通了从编码、构建到运维的全链路,并集成灵码、AIOps 等,将 AI 能力注入其中。当代码提交发布后,系统会自动捕获并关联线上问题,由 AI Agent 生成智能诊断报告。 开源开放依然是云原生的核心理念 尽管今天的分享更多聚焦在商业产品层面,但开源开放始终是云原生的底色与核心理念。几乎每一个商业化产品,我们都直接开放了基础能力,或者参与基于外部开源项目持续回馈,推动社区共同演进。例如: Higress & HiMarket:提供 AI 网关和 AI 开放平台的能力。 AgentScope Studio:提供应用治理的能力,包括 Agent 调试、观测、评估等。 AgentScope Agent 框架:提供应用的开发能力。 AgentScope-Runtime:函数计算支持 AgentScope 的 Agent/SandBox/Browser-use,这三类运行时。 Lite RocketMQ:为每个会话或问题动态创建一个独立的轻量级主题(Lite-Topic)。 Nacos:通过 Nacos MCP Registry & Router,提供 MCP 的服务注册、发现和路由能力。 可观测:云产品全面兼容 OTel/Prometheus/Grafana 等业内标准化的可观测基础设施。 我们相信,正是这种商业与开源双轨并行的演进模式,既能让云原生产品更好的满足企业客户的诉求,也能在开源开放的协作中,保持技术的持续领先与社区活力。

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册