首页 文章 精选 留言 我的

精选列表

搜索[路径追踪],共10000篇文章
优秀的个人博客,低调大师

两周完成爬虫技术栈升级:Scrapy 迁移 Crawlo 的路径与取舍

问题定位:不是框架选型错,是执行模型不匹配我们的抓取服务在 Scrapy 上稳定运行了两年,日均调度量从 30 万涨到 3000 万。迁移的动因不是 Scrapy 不行,而是它的并发模型在当前负载下出现了结构性瓶颈。Scrapy 建立在 Twisted 之上,整套请求与回调跑在单个 reactor 线程里,靠协程让出 CPU 来实现并发。这要求每个回调必须是非阻塞的。一旦 parse 回调里出现 CPU 密集的同步代码,比如大文档的 XPath 批量抽取、深回溯正则、或者 JSON 反序列化后的字段规整,reactor 就会被这一个回调独占,事件循环无法推进,同进程内其他所有在途请求一起排队。

优秀的个人博客,低调大师

Angular 应用中 NgRx 找不到 cart Feature 的原因与完整修复路径

我打开 Chrome DevTools 的 Console 面板,看到这段 warning 时,最关键的一句不是后面那段注册建议,而是 createFeatureSelector cannot access it。当前代码里一定存在一个类似 createFeatureSelector('cart') 的选择器。这个选择器被执行时,会把整个 NgRx 根状态对象当成输入,然后读取根对象上的 cart 属性。实际运行结果是 state['cart'] === undefined,所以 NgRx 在开发模式输出了警告。NgRx 官方把 createFeatureSelector 定义为读取顶层 Feature 状态的便捷方法,早期加入这条诊断信息的目的,也正是把原本难以定位的 undefined 问题提前暴露出来。 (NgRx)

优秀的个人博客,低调大师

GOTC2025 云原生AI论坛:解锁模型弹性与多云生态新路径

当 AI 模型规模持续扩大,算力需求呈指数级增长,计算资源调度效率低、模型交付难、多云运维复杂等问题,正成为制约 AI 落地的关键瓶颈。而云原生 AI 技术的弹性、可扩展特性,恰好成为破局这些难题,提供了时代优解 —— 在这一背景下,全球开源技术峰会特设云原生 AI 论坛,为行业从业者搭建起线下技术交流与云原生 AI 生态共建的平台。 GOTC 2025 点击报名 云原生AI论坛 云原生与 AI 的融合正在重新定义计算资源的调度与模型的交付方式。本论坛聚焦 Kubernetes 与 AI 工作负载的适配、模型服务的弹性伸缩、多云异构环境下的 AI 运维等关键议题。我们将探讨开源社区如何推动云原生 AI 标准的形成与生态的繁荣。 作为聚焦前沿技术落地的专业论坛,本次分论坛直击行业核心痛点,将围绕三大关键议题展开深度探讨,为 AI 技术规模化应用扫清障碍。 其一、Kubernetes 与 AI 工作负载的适配难题。当前,AI 工作负载存在资源需求波动大、依赖异构硬件(GPU/TPU)等特性,与传统 Kubernetes 调度逻辑存在适配鸿沟。论坛将邀请一线技术专家,分享如何优化 Kubernetes 调度策略,实现 AI 任务与资源的精准匹配,例如通过自定义调度器满足深度学习训练的高算力需求,或通过资源隔离技术保障多 AI 任务的稳定运行,从底层解决 “算力浪费” 与 “任务卡顿” 的双重困境。 其二、模型服务的弹性伸缩技术实践。随着 AI 应用场景的多元化,模型服务面临 “流量峰值突增” 与 “低谷资源闲置” 的矛盾:电商大促时推荐模型需瞬时扩容,夜间测试场景又需缩减资源成本。论坛将聚焦弹性伸缩的关键技术,包括基于监控指标的自动扩缩容策略、模型轻量化与动态加载方案,以及 Serverless 架构在模型服务中的落地案例,帮助企业实现 “按需分配资源、降本提效” 的目标。 其三、多云异构环境下的 AI 运维挑战。如今,越来越多企业采用 “公有云 + 私有云 + 边缘云” 的多云架构,加之 CPU、GPU、ARM 等异构硬件并存,AI 运维面临 “环境不一致”“故障难定位”“成本难管控” 等问题。论坛将探讨多云 AI 运维的标准化方案,例如通过统一监控平台实现跨环境状态可视化,借助容器化技术保障模型在异构硬件上的一致性运行,为企业提供可落地的运维思路。 值得关注的是,本次分论坛不仅聚焦技术痛点,还将深入探讨开源社区对云原生 AI 生态的推动作用。论坛将汇聚开源社区代表、企业技术负责人与学术研究者,共同探讨如何通过开源协作完善云原生 AI 技术体系,推动模型格式、资源调度、运维接口的标准化,最终实现 “生态繁荣、技术普惠” 的目标。 🔺论坛详情请移步全球开源技术峰会 GOTC 2025官方链接了解:https://gotc.oschina.net/ 🔺全球开源技术峰会 GOTC 2025 报名渠道已开通:https://www.oschina.net/event/8598047 微信扫描上方二维码,即可报名 除了论坛与现场展厅,GOTC 2025 也同步举办线上特别展览:开源,从人类群智,到 AI 智能。用开源的软件与硬件,拼出人类集体智能从 GNU 到 GPT 的 40 年跃迁。 同时,特别策划限时活动:中国开源项目大赏 2025,期待开发者积极参与,秀出你的开源活力。 关于全球开源技术峰会 GOTC 2025: GOTC(Global Open-source Technology Conference)全球开源技术峰会是中国开源领域规格最高、国际影响力最强的年度盛会之一。峰会由开源中国发起并主办,并与包括 Linux 基金会亚太区在内的全球开源生态伙伴深度协作,已成为连接中外、引领前沿的技术创新平台。GOTC 以打造具有全球视野和技术高度的产业盛会为宗旨,汇聚来自人工智能、大模型、开源与软件工程等核心领域的顶级专家与企业代表,展示最新技术趋势与实践成果。 峰会历年吸引中国工程院院士、Linux 基金会副总裁、百度、华为、红帽等科技领袖发表主旨演讲,成为行业风向标。2024 年,全网曝光量突破 5 亿次,新华社、人民日报、央视网等主流媒体集中报道,持续扩大峰会影响力和社会认知度。大会以专业技术论坛为核心,参会者中技术研发人员占比超八成,体现出其在开发者与工程技术群体中的深厚号召力。同时,峰会采用线上线下双线联动,2024 年线上直播观看量达 680 万人次,覆盖人群超千万。 GOTC 不仅关注技术突破,更注重开放协同与产业落地,通过构建多元共建共赢的生态网络,推动形成开放可信、智能共生的创新底座。作为中国开源事业与科技强国战略的重要支点,GOTC 正不断助力数字经济高质量发展,促进技术人才集聚、产业生态升级,为构建具有全球影响力的科技创新高地注入源源不断的动能。

优秀的个人博客,低调大师

克服 Prometheus 单值数据模型的局限性:GreptimeDB 的新路径

引言 Prometheus 已经成为监控和报警生态系统的基石,在高效、直接地处理实时指标(Metric)方面有着强大的表现。Prometheus 的核心是一个包含单个值和一系列标签的数据模型。这种设计在提升简单性和适应性的同时,也带来了一些挑战,包括影响数据收集效率、分析深度和查询能力。 本文探讨了 Prometheus 单值数据模型的固有限制,GreptimeDB 如何成为一个解决这些问题的创新方案,并结合若干实例说明其中的差别。 单值数据模型的挑战 1. 数据收集中的冗余标签传输 Prometheus 的数据模型要求测度(Measurement)上报时总要携带同一来源的所有标签,当测量需求涉及多个值时,意味着重复传输这些标签,从而导致数据收集和存储效率低下。虽然 Prometheus 的存储引擎优化了数据存储,但标签信息冗余问题仍是一个重大的开销。 示例:在从服务器集群收集 CPU 使用率、内存使用量和磁盘 I/O 等多个指标的场景下,每个指标都携带相同的标签,如 cluster_name、region、instance 和 server_type,这就导致了不必要的重复。 示例图:instance 标签在三个指标中重复出现 丢失测度(Measurement)之间的关联 在没有结构化分组或继承的机制的情况下,把相关的多个测度分隔成独立的指标,将会丢失测度之间的关联。这种分隔将使关联分析和查询变得困难,也限制了对指标之间相互影响的洞察。 示例:以监控 Redis 为例,使用多个指标来分别跟踪内存使用量、命令处理率和活动连接等行为,会使得分析它们之间的相互影响非常困难。例如,内存使用量如何影响命令处理效率。 查询复合监控视图的复杂性 创建全面的监控仪表板,需要从多个独立的 PromQL 查询中聚合数据,但这样的构建逻辑会使仪表板构建复杂化并增加不必要的查询开销。 示例:有效监控一个 Kubernetes 节点的仪表板需要聚合 CPU 负载、内存消耗、网络 I/O 和 pod 计数等多个指标,每个指标都需要单独地进行 PromQL 查询,但这样的行为会复杂化仪表板的设置,甚至可能影响性能。 GreptimeDB 的解决方案 为了应对上述挑战,GreptimeDB 在支持 PromQL 查询时,实现了一个创新解决方案来规避单值模型的局限。 1. 相关指标成组地聚合存储 GreptimeDB 为这类监控场景开发了 Metric Engine 存储引擎。它支持在底层聚合存储多个测度,而在应用层呈现出单值模型的视图。这大幅降低了存储成本,并提高了查询若干相关的测度时的性能。 2. 多值采样和不同的值类型 GreptimeDB 允许来自单一数据源的样本存储多个值,支持浮点数等多种值类型。 示例:监控 Redis 在一个或多个时间序列中存储的数据,其中标签作为独立的标签列存储,分组测量作为不同的字段列。这种方法减少了标签传输的冗余,保留了数据关联性,并能够优化相关的分析和查询性能。 示例图:监控 Redis 提取多个数据值 3. 扩展 PromQL 以查询多个字段 GreptimeDB 增强了 PromQL 以允许查询并返回多个字段值的能力。要指定特定字段,可以使用扩展的 __field__ 标签。 示例:查询 memstats{ __field__ = "used_bytes", __field__ = "free_bytes"},可以获取两个时间序列并一起渲染。这种扩展简化了复合监控视图下的查询,降低了组建具体仪表板负载的复杂性。 4. 支持表模型和 SQL 进行高级关联分析 GreptimeDB 的核心优势之一就是强大的分析能力,表现为支持表模型和使用 SQL 查询数据,这一能力在进行关联分析和执行复杂查询时,可以实现远超 PromQL 的灵活性。基于关系模型,用户可以连接多个数据集进行关联分析,更深入且细致地挖掘监控系统数据的价值。 示例:在复杂的监控场景中,需要将服务器性能指标与应用错误日志相关联,GreptimeDB 允许用户使用 SQL 一起查询这些数据。比如,执行一个 SQL 查询时,可以根据时间戳将 CPU 使用率的指标与应用错误日志关联起来,就能够提供 CPU 使用率上升与错误率增加的关联的监控视角。如果仅用 PromQL 来实现这种分析,即便可行,实现过程也会非常繁琐复杂。 👀 (P.S. GreptimeDB 正在实现专业的日志存储支持,敬请期待) 支持表模型和 SQL 查询,让 GreptimeDB 能够帮助用户从传统 SQL-based 系统平滑地切换到专业的时序数据栈上。同时这也使得用户无需应对 PromQL 陡峭的学习曲线,直接开始深入挖掘时序数据价值,包括基于监控数据的进行基本展示,完成复杂的性能分析,排查系统存在的故障等一系列广泛的分析任务。这是 GreptimeDB 的技术创新为监控数据获取、存储和实用化带来的一大进步。 结论 尽管 Prometheus 的单值数据模型有助于用户简单上手,并且目前已经被广泛采用,但是它在数据收集效率、测度关联性和查询复杂性方面都面临明显的挑战。GreptimeDB 的解决方案克服了这些限制,提供了更有效的数据收集方法,增强了关联分析,并简化了查询,能够帮助用户高效获取全面的监控视图。 GreptimeDB 作为开源项目,欢迎对时序数据库、Rust 语言等内容感兴趣的同学们参与贡献和讨论。第一次参与项目的同学推荐先从带有 good first issue 标签的 issue 入手,期待在开源社群里遇见你! Star us on GitHub Now: https://github.com/GreptimeTeam/greptimedb 微信搜索 GreptimeDB,关注公众号不错过更多技术干货和福利~ 关于 Greptime Greptime 格睿科技专注于为物联网(如智慧能源、智能汽车等)及可观测等产生大量时序数据的领域提供实时、高效的数据存储和分析服务,帮助客户挖掘数据的深层价值。目前主要有以下三款产品: GreptimeDB 是一款用 Rust 语言编写的开源时序数据库,具有云原生、无限水平扩展、高性能、融合分析等特点,帮助企业实时读写、处理和分析时序数据的同时,降低长期存储的成本。我们提供 GreptimDB 企业版,支持更多功能和定制化服务,如有需要欢迎联系小助手。 GreptimeCloud 是一款全托管的云上数据库即服务(DBaaS)解决方案,基于开源时序数据库 GreptimeDB 打造,能够高效支持可观测、物联网、金融等领域的应用。用户可以通过内置的可观测解决方案 GreptimeAI 全面地掌握 LLM 应用的成本、性能、流量和安全等情况。 车云一体解决方案 是一款深入车企实际业务场景的车云协同数据解决方案,解决了企业车辆数据呈几何倍数增长后的实际业务痛点。多模态车端数据库结合云端 GreptimeDB 企业版帮助车企极大降低流量、计算和存储成本,并帮助提升数据实时性和业务洞察能力。 GreptimeDB 作为开源项目,欢迎对时序数据库、Rust 语言等内容感兴趣的同学们参与贡献和讨论。第一次参与项目的同学推荐先从带有 good first issue 标签的 issue 入手,期待在开源社群里遇见你! 官网:https://greptime.cn/ GitHub: https://github.com/GreptimeTeam/greptimedb 文档:https://docs.greptime.cn/ Twitter: https://twitter.com/Greptime Slack: https://www.greptime.com/slack LinkedIn: https://www.linkedin.com/company/greptime

优秀的个人博客,低调大师

蚂蚁金服CTO程立:金融级分布式交易的技术路径

移动互联网、大数据与云计算作为新的基础设施,催生了新的互联网经济,也正在推动各行各业的升级。在过去十多年中,金融服务飞速发展,移动支付支撑了零售业线上线下的变革,基于大数据的信贷服务支持了无数小微企业的创业创新,老百姓可以随时随地享受曾经高门槛的理财、保险等金融服务。以普惠服务为目标、数据与技术驱动、新型信用体系为基础的新金融已经成为新经济的基石。 伴随着蚂蚁金服在新金融领域的探索,蚂蚁金服技术团队也在金融技术与架构领域不断开拓。从 2005 年每秒处理 1 笔交易到 2015 年双十一每秒处理 8.59 万笔交易,从单一的支付到覆盖微贷、理财、保险、信用、银行等,通过十多年的探索与实践,我们形成了一套包含金融级分布式交易、分布式大数据分析与决策等在内的完整架构与技术体系。 在本文中,我们将与大家交流金融级分布式交易相关的实践与体会。

优秀的个人博客,低调大师

深度学习应用系统分析:应用组合和形态矩阵找到正确路径

对深度学习研究和应用的兴趣从未这么热过。深度学习最迷人的地方是,神经网络似乎能够解决以前只能用定制方法解决的各种问题。 【导读】本文收录了arXiv.org上关于深度学习的一些最新的研究论文,列出了这些文章的内容,包括“深度学习八大灵感应用”、“深度学习用例”、“科学与工程中的深度学习应用”、“深度学习应用程序的下一次浪潮”等。针对这些文章缺乏系统方法的问题,提出了具体的组合矩阵、形态矩阵解决方案,并给出了预测示例。 隐藏的潜力 对深度学习研究和应用的兴趣从未这么热过。几乎每天都可以在arXiv.org找到无数的新研究论文。这些论文为我们描述了新的方法,人工神经网络可以靠这些方法应用于我们日常生活的各个领域。深度学习最迷人的地方是,神经网络似乎能够解决以前只能用定制方法解决的各种问题。 此外,每天都会出现新的文章或博客,告诉我们更多奇特的应用深度学习的方式。这些文章、博客甚至书籍的问题是,它们不对神经网络应用程序进行系统性的处理。至少到目前为止,我还没有看到有人这么做。如果你知道有人这么做过,请告诉我。 最先进的方法 在搜索这篇文章的材料时,我发现了一些总结深度学习应用程序的文章。下面是来自那些文章的许多引用与相关链接。 1.第一篇文章是 Jason Brownlee 发表的深度学习八大灵感应用”,来自博客 Machine Learning Mastery。 下面是这些应用的列表: 1. 黑白图像的着色。 2. 添加声音到无声电影。 3. 自动机器翻译。 4. 照片中的对象分类。 5. 自动手写生成。 6. 字符文本生成。 7. 图像字幕生成。 8. 自动游戏。 正如上表所列的,这些应用都可以归到听觉、视觉和空间这几种感觉模态,这些模态也是人工智能研究最初得到应用的地方。 2 ,第二篇文章名为“深度学习用例”,来自专门用于Java的Deeplearning4j 机器学习库网站。 和上一篇一样,我们可以将这里的所有应用程序归类为听觉,视觉和空间三种模态。其实并不存在空间模态,但出于一般性的考虑,我用“空间模态”来指代对序列的处理。 3 下一篇是为John Murphy的“科学与工程中的深度学习应用”。本文介绍了和前面几篇类似的深度学习应用,但也提供了另外一些奇特的应用,例如科学实验设计、高能物理和药物发现方面的应用。 4.此外,我想提及“深度学习应用程序的下一次浪潮”这篇文章。文中充满各种最奇异的、你可能闻所未闻的应用程序。例如:天气预报和事件检测、用于脑癌检测的神经网络。 5,最后一篇文章来自 Quora,是关于深度学习应用程序的一组问答。 上面所有这些文章缺乏的是系统方法。这种系统方法不仅描述深度学习的当前应用,而且能够预测未来的可能应用。 组合矩阵 我建议使用组合矩阵:所有当前的深度学习应用程序可以从矩阵中推导出来,该矩阵还具有提示未来应用程序的优点。 在该矩阵中,每一行和每一列都枚举出了各种类型的感觉模态,这样,我们可以在矩阵中找到任意两个感觉模态配对后的选项对,例如,语音 - 图像识别便是一个这样的选项对。矩阵中的每一个选项对都可以根据当前或未来可能的深度学习应用来解释。 预测示例 如果我们看第4行、第B列,将找到来自音频模态的“语音识别器 - >语音生成器”选项对,这可以被解释为从语言到语言的翻译应用,例如Google翻译。此外,如果我们选择第6行,第D列,将找到“图像识别器 - >图像生成器”,这正是arXiv.org上的深度卷积逆向图形网络论文背后的想法。 可以看出,该矩阵中的可能选项对的总数是 12 *(12-1)= 132。一般而言,选项对总数为 N *(N-1)。 如果我们想要构思一个新的应用程序,我们可以系统性地遍历矩阵并寻找新的选项对,或选择一个随机的选项对,例如第4行和第H列,将得到“图像识别器 - >自然语言生成器”。它可能是这样一个应用:读取对着手机摄像头说话的人的唇语,并生成文本发送到另一应用。当身处嘈杂环境时,这个应用程序会很有用。(想法来自这链接)。 注意,我这样组织这个矩阵,只是为了举例子方便。也可以用其他方式来组织矩阵,那样就会产生其他的深度学习应用的可能组合。此外,该矩阵可以是多维的,以便考虑各种参数组合。 形态矩阵 尝试预测深度学习应用的另外一种方法是,使用由加州理工学院的瑞士天体物理学家 Fritz Zwicky 开发的形态矩阵法。顺便说一句,这种方法已经成功地用于预测中子星的存在。在瑞典形态学学会的网站上,可以找到关于形态矩阵及其应用的详细解释。现在,我们只需知道,该矩阵是以这样的方式构成:其第一行具有各种感觉模态,例如听觉,视觉,触觉等,其余的行则为这些模态提供可能的选项。下面的屏幕截图将有助于澄清这一点。 预测示例 既然我们有了形态矩阵,我们就可以把深度学习应用看作一个模态选项的集合。例如,当我们从表格中锁定“语音识别/生成和图像识别”这个选项后,我们就可以理解 2016年11用 16日刚刚提交到 arXiv.org 的《在野外环境读取唇语》这篇最新的深度学习应用论文的本质。 请注意,此矩阵可以以其他方式组合,以产生深度学习可能应用的不同组合。 结论 正如本文所示,通过组合和形态矩阵来系统地寻找深度学习以及一般意义上的机器学习应用,这是可能和有效的。 原文发布时间: 2016-11-28 15:35 本文来自云栖社区合作伙伴镁客网,了解相关信息可以关注镁客网。

优秀的个人博客,低调大师

多智能体系统的“信任黑箱”:2026企业级Agent可解释性审计与归因追踪工程

新闻导语2026年8月,当企业将核心决策权逐步移交多Agent系统时,一场静默的信任危机正在爆发。Forrester最新调研显示,63%的企业高管拒绝在关键业务中部署Agent,原因并非“能力不足”,而是“无法解释”。当一个拒绝贷款、一次医疗分诊或一笔千万级交易由Agent做出时,“模型认为应该如此”已不再是可接受的答案。监管合规、用户信任与内部追责三重压力,正将Agent可解释性从“锦上添花的技术特性”推升为“不可妥协的生产准入条件”。真正的挑战已从“如何让Agent更准”转向“如何让Agent的决定可被人类理解、验证与问责”。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册