首页 文章 精选 留言 我的

精选列表

搜索[主数据管理],共10000篇文章
优秀的个人博客,低调大师

数据管理DMS 全量SQL诊断:你的SQL是健康的蓝色,还是危险的红色?

三大难点问题 使用MySQL数据库的用户,不可避免都会遇到下面三个难题: 1、历史问题难定位 数据库凌晨3点发生了CPU 100%的告警,但是该时间段却没有任何慢SQL,怎么继续查找原因? 2、SQL压测模版难获取 下周要进行大促压测,DBA只能找业务方一个个的收集SQL模版、执行频率,这种方式效率低,并且无法保证正确性; 3、慢SQL是否要优化不是所有的慢SQL都需要第一优先级优化,用户迫切需要知道数据库上哪些SQL最消耗资源,优化这些SQL,才可以提高实例的稳定性; 全量SQL诊断可以快速的解决上述问题。 重要功能简介 执行耗时分布 如果一个实例的“执行耗时分布”越接近蓝色,代表这个实例的SQL健康情况越好,越接近橙色和红色,代表这个实例的SQL健康情况越差。 “执行耗时分布”展示了选定时间范围内,所有SQL的执行耗时分布,将执行耗时分为了7个区间,每分钟计算一次,分别是: [0,1]ms 满足0ms ≤ 执行耗时 ≤ 1ms SQL执行次数占比 (1,2]ms 1ms < 执行耗时 ≤ 2ms SQL执行次数占比 (2,3]ms 2ms < 执行耗时 ≤ 3ms SQL执行次数占比 (3,10]ms 3ms < 执行耗时 ≤ 10ms SQL执行次数占比 (10,100]ms 10ms < 执行耗时 ≤ 100ms SQL执行次数占比 (0.1,1]s 0.1s < 执行耗时 ≤ 1s SQL执行次数占比 >1s 1s < 执行耗时 SQL执行次数占比 例如 :2017-10-12 19:15:00 该实例 执行耗时在[0,1]ms的SQL执行次数占比是80%;执行耗时在(3,10]ms的SQL执行次数占比是13.33%;执行耗时在(0.1,1]s的SQL执行次数占比是6.67%。 执行耗时(SQL RT) 通过执行耗时,可以方便的查看在选定的时间范围内,每一分钟 SQL的执行耗时。 SQL列表 SQL列表展示了选定时间范围内每一类SQL的SQL文本、耗时比例、平均执行耗时、返回行数等信息。 耗时比例=(该类SQL执行耗时 执行次数)/(所有SQL执行耗时 总执行次数) * 100% 所以耗时比例越高的SQL,基本上可以简单的理解为占用MySQL资源越多的SQL,优化该SQL,可以获取更高的收益比,以下图的场景为例: 红框圈定的SQL,平均耗时是67.78ms,执行次数43次,所以耗时比例是67.18%; 黄框圈定的SQL,虽然平均耗时达到209.99ms,但是因为执行次数只有一次,所以耗时比例只有4.84%; 所以在业务模型没有变化的情况下,优化第一条SQL,可以更好的降低实例的资源使用,提升实例的稳定性; SQL明细 点击SQL ID,可以查看该类SQL执行计划、性能趋势、SQL样本: 前提条件 用户获取权限并已登录DMS控制台。 DMS 全量SQL诊断功能目前不会进行收费,但是使用该功能的前提用户需要开启SQL审计,该功能是收费功能,计费标准。 背景信息 目前暂时仅支持云数据库 RDS 版 MySQL 实例(暂不支持MySQL 5.7)。 操作步骤 登录DMS控制台——>选择MySQL数据库——>选择“性能”菜单——>点击“SQL趋势”——>点击“全量SQL诊断” 详细操作步骤如下: 登录DMS控制台后,界面如下图所示: 选择MySQL数据库,并单击登录数据库按钮进行登录。 如下图所示,在顶部导航栏菜单中,选择性能>SQL趋势:

优秀的个人博客,低调大师

开源中国开源 AI 编程工具 MothX,主打一个“省”字,驾驭中国词元

用 Claude Code 写一个月代码要多少钱?问问研发工程师,答案都是几百美元起步。终端 AI 编程这个领域,能力上各家都做得不差,拉开差距的其实是账单。 开源中国近期在 Gitee 开源了终端 AI 编码工具 MothX(默思,原名 VibeCoding),约一万行 Go 代码,编译成一个二进制,装完即用。这类”模型之外的脚手架”,行业里叫 Harness:上下文怎么管、工具怎么调、成本怎么压,都是这一层的活。MothX 的差异化也都在这里。 MIT 协议,地址:https://gitee.com/oschina/mothx 省钱这件事,MothX 是当工程问题做的 Claude Code 和 Codex 也能接第三方模型,但“能跑”和“为省钱而设计”是两码事。 MothX 内置了 20 多家模型厂商的原生适配器,连某些不遵守 OpenAI 流式约定的接口都做了专门处理——用代理方案的话,这种坑得用户自己踩。 更关键的是缓存。DeepSeek 这类国产模型,上下文缓存命中和没命中是数量级的价差,MothX 的请求构造就围着缓存命中率转,终端状态栏还会实时显示每一轮的命中数据。省没省钱,不用等月底账单,干活的时候就能看见。 长任务模式值得单独说说 补全、改写这些场景已经被聊烂了,真正有价值的场景是:一个大的存量系统要演进,方案跟 AI 聊透了,然后呢? MothX 给了两个在生产环境打磨过的执行模式。一个是 Workflow,用 JavaScript 写工作流,阶段拆解、并行执行、多 worker 协同,把复杂任务编成可复现、可中断的脚本,不用赌一次性提示词。 另一个是 ESM(Enable Supervisor Mode,监督者模式),方案聊完,开 ESM,跑一晚上,早上验收,效果基本达到七八成。 通宵跑任务最怕两件事,模型谎报军情,以及半夜悄悄挂掉。ESM 对这两件事都有防备。完工不靠 worker 自己说,后面跟着 critic 和 audit 两道只读审查,有遗留任务就打回。worker 中途超时或者供应商接口报错,会有观察者角色进场检查仓库状态、盘点剩余工作,然后新 worker 从断点接着跑。所以准确来说,这叫 OESM 模式,加了一个Observer。 Codex 的 goal 模式配上国产模型,经常乐观地宣布“做完了”,结束任务,但产出却经不起推敲,ESM 这套审查流水线治的就是这个病。 其它工程底子,包括 bubblewrap 沙箱、Bash 黑白名单审批(黑名单在任何模式下优先生效)、ACP 协议直连 VS Code 和 JetBrains,能当 OpenAI 兼容网关用,也能挂微信/飞书机器人、权限分 plan / agent / yolo 三档。 特性 对你意味着什么 ⚙️ 工作流模式 动态 JavaScript 工作流,支持阶段划分、并行执行、多 Worker 协调 — 自动化复杂开发流水线 🤖 多提供商 DeepSeek、OpenAI、Anthropic、火山引擎/豆包、LongCat 和 25+ 厂商适配器 — 一键切换模型 ⚡ 极速响应 SSE 流式传输、实时 token 送达、缓存命中优化 🧠 思考模式 复杂问题的扩展推理(DeepSeek、o1、Claude) 🛡️ 沙箱隔离 bwrap 进程级隔离 — 安全文件操作、网络控制、审批门控 📝 会话管理 持久化 SQLite 历史,支持分支、压缩和树形结构 🧩 技能系统 可复用的提示片段,用于项目约定 — 团队共享 📊 统计面板 使用统计图表、按厂商/模型分类统计、CLI 模式 🔄 工作流 JavaScript DSL 实现多阶段、并行、多 Agent 编排 💻 IDE 集成 ACP 协议支持 VS Code、Zed、JetBrains — 原生编辑器集成 🌐 网关模式 OpenAI Chat/Responses 兼容 API、Web UI、MCP、审批与持久后台运行 📱 消息平台 微信、飞书、Webhook、WebSocket 事件流,支持持久会话与后台运行 🤝 多 Agent --multi-agent 异步子 Agent、--delegate 阻塞式委托,以及 A2A Master 模式 🎨 丰富 TUI Markdown 渲染、语法高亮、思考显示、工具弹窗、多行输入 🔒 安全可控 项目级 bash 自动审批规则、bashBlacklist 优先于白名单、交互式审批对话框 当然了,底盘是底盘,调教是调教,希望社区也能基于 MothX 进一步做出更极致的演进。 项目地址:https://gitee.com/oschina/mothx 研发侧的一块拼图 把 MothX 放进开源中国的业务版图,能看到“开源中国分发中国 Token”这条战略线的产品分层打法: 端侧有龙虾盒子 PocketClaw 这样的软硬一体载体 开放代码托管侧有开源的 Gitee CLI 研发团队协同平台侧有 Gitee AI 队友 企业侧有企业级 Extreme AI K12 与高校教育侧有教学分身、线上实验室 …… 模力方舟(Moark)在底层聚合数万款开源模型、提供 Serverless API 推理。MothX 补上的,是研发侧,开发者终端里那个最高频的入口,一款对国产模型和国产算力天然友好的 AI 编码 Harness。 开源中国分发中国词元,MothX,驾驭中国词元。 Make OSCHINA Tokens Harness eXecution。 30 天 5.9 万次下载,是开发者给出的第一份反馈。 项目地址:https://gitee.com/oschina/mothx

优秀的个人博客,低调大师

使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码(博主强烈推荐)

前言 其实啊,无论你是初学者还是具备了有一定spark编程经验,都需要对spark源码足够重视起来。 本人,肺腑之己见,想要成为大数据的大牛和顶尖专家,多结合源码和操练编程。 准备工作 1、scala 2.10.4(本地的安装) Scala的安装(本地) 2、Jdk1.7+ 或 jdk1.8+ (本地的安装) Jdk 1.7*安装并配置 Jdk 1.8*安装并配置 JDK的windows和Linux版本之下载 3、IntelliJ IDEA IntelliJ IDEA(Community版本)的下载、安装和WordCount的初步使用(本地模式和集群模式) IntelliJ IDEA(Ultimate版本)的下载、安装和WordCount的初步使用(本地模式和集群模式) Spark源码的编译过程详细解读(各版本) 另外,最后还是建议大家开始先使用 pre-built 的 Spark,对 Spark 的运行、使用方法有所了解,编写了一些 Spark 应用程序后再展开源代码的阅读,并尝试修改源码,进行手动编译。 总体流程 1、从 Github 导入 Spark 工程 打开IntelliJ IDEA 后,在菜单栏中选择VCS→Check out from Version Control→Git,之后在 Git Repository URL 中填入 Spark 项目的地址,并指定好本地路径,如下图所示。 https://github.com/apache/spark.git 或者,我们可以直接先下载好, 比如我这里,已经下载好了 解压, 提前,先准备好 对于spark源码的目录结构 1、编译相关 : sbt 、assembly、project 2、spark核心 :core 3、Spark Lib : streaming 、 sql 、graphx 、mllib 4、运行脚本和配置 : bin 、sbin 、conf 5、虚拟化 : ec2 、docker 、dev 6、式例 : examples 、data 7、部署相关: yarn 8、python支持 : python 9、repl : repl 10、 3pp : externals 现在,我开始,进入spark源码导入工作。 先来关闭,已有的工程。 File -> Close Project 得到,如下 选择,Import Project 这里,为了日后的spark源码阅读环境的方便和开发 安装之后的几个常用设置: 1、界面字体大小的设置 可见,界面字体的效果 2、代码字体的设置 3、因我们平常,用习惯了eclipse,快捷键,设置为我们平常,eclipse的风格。 完成 简单,带领,如何巧看spark源码? 这里,为了避免一个不利的阅读, 放到D盘的根目录下, 设置行号 其他的源码,首先,Ctrl + Shift + R,然后,自行去阅读。 建议,在理解概念,真的,可以拿源码来帮助理解! 总结 所以啊,源码 + 官网 ,是黄金组合。 本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5881893.html,如需转载请自行联系原作者

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册