首页 文章 精选 留言 我的

精选列表

搜索[稳定],共10000篇文章
优秀的个人博客,低调大师

ElasticSearch Shard——本质上是做分布式扩展,副本对于集群的稳定性有很强的影响

什么是一个Shard? Shard就是一个Lucene Index,参照文章(深入理解Shard和Lucene Index)。 Index需要多少个Shard? 回答这个问题,我们需要先谈谈节点,一个集群有多个节点,具体需要多少个节点合适,是另外一个问题,但是这个数字也会影响我们对Shard数的设置。 Shard数 = Node数? 总体上说,当我们节点数和Shard数相等时,ElasticSearch集群的性能可以达到最优。即,对于一个3节点集群,我们为每个集群节点分配一个Shard,总共3个Shard。但是由于ElasticSearch的不可变性(Immutable)的限制,系统无法对Shard进行重新拆分分配,除非重新索引这个文件集合。所以,当我们需要增加更多节点的时候,又希望Shard能利用到增加节点带来的系统性能提升时,我们就不得不进行重新索引,由于重索引开销巨大,这是我们不希望看到的。 StackExchange用ElasticSearch支持它的搜索,当前(2016-3-1日),它网站的ElasticSearch索引占用440GB。 如果需要重新建立索引,将会是一个巨大的开销,为了支持未来可能的水平扩展,我们会为集群分配比node数更多的shard数,也就是说每个节点会有多个Shard。 如果单个node分配多个shard,就会引入另外一系列的性能问题,我们知道对于任意一次完整的搜索,ElasticSearch会分别对每个shard进行查询,最后进行汇总。当节点数和shard数是一对一的时候,所有的查询可以并行运行。但是,对于具有多个shard的节点,如果磁盘是15000RPM或SSD,可能会相对较快,但是这也会存在等待响应的问题,所以通常不推荐一个节点超过2个shard。 3节点6shard,即每个节点2shard,这可以使我们在未来轻松的横向扩展到6个节点,应对许多极端的场景。 Replicas数呢? Replica也是Shard,与shard不同的是,replica只会参与读操作,同时也能提高集群的可用性。对于Replica来说,它的主要作用就是提高集群错误恢复的能力,所以replica的数目与shard的数目以及node的数目相关,与shard不同的是,replica的数目可以在集群建立之后变更,切代价较小,所以相比shard的数目而言,没有那么重要。 Replica的故事(宕机) 3 node, 3 shard, 0 replica 一个节点宕机 整个服务不可用 3 node, 3 shard, 1 replica (each) 一个节点宕机 两个节点宕机 服务仍然可用 3 node, 3 shard, 2 replica (each) 当存储费用较低时,可以考虑 摘自:http://www.cnblogs.com/richaaaard/p/5231905.html 本文转自张昺华-sky博客园博客,原文链接:http://www.cnblogs.com/bonelee/p/7454214.html,如需转载请自行联系原作者

优秀的个人博客,低调大师

【阿里鬼道】Weex在双11会场的大规模应用:业务支撑、稳定性保障和秒开实战

前言 Native开发的诸多亮点中,流畅体验和系统调用是最多被提及的。流畅体验体现在页面滚动/动画的流畅性,背后是更好的内存管理和更接近原生的性能;同时又是Web的痛点:资源首次下载、长页面内存溢出和滚动性能、动画性能、传统web性能(如JS执行效率)。Native有丰富的系统调用能力,而Web痛点在于:W3C标准太慢,有限的设备访问能力,API兼容性问题较严重,如Geolocation在AndroidWebview中可用性很差。 Web开发同样有诸多亮点,其中最耀眼的当属发布能力和规模协作。NativeApp商店审核周期长(尤指iOS);应用更新周期长,iOS稍快大概能达到一周更新率60%-80%,Android同样的更新率要2周甚至更长。而Web在合适的缓存机制下一分钟可达到99

优秀的个人博客,低调大师

芋道 ruoyi-vue-pro v1.7.2 发布:重构 Vue3 管理后台,提升易用性、稳定

项目地址 https://gitee.com/zhijiantianya/ruoyi-vue-pro 严肃声明:现在、未来都不会有商业版本,所有代码全部开源! 「我喜欢写代码,乐此不疲」「我喜欢做开源,以此为乐」 🐯 平台简介 芋道,以开发者为中心,打造中国第一流的快速开发平台,全部开源,个人与企业可 100% 免费使用。 有任何问题,或者想要的功能,可以在Issues中提给艿艿。 😜 给项目点点 Star 吧,这对我们真的很重要! 管理后台的 Vue3 版本采用vue-element-plus-admin,Vue2 版本采用vue-element-admin 管理后台的移动端采用uni-app方案,一份代码多终端适配,同时支持 APP、小程序、H5! 后端采用 Spring Boot、MySQL + MyBatis Plus、Redis + Redisson 数据库可使用 MySQL、Oracle、PostgreSQL、SQL Server、MariaDB、国产达梦 DM、TiDB 等 权限认证使用 Spring Security & Token & Redis,支持多终端、多种用户的认证系统,支持 SSO 单点登录 支持加载动态权限菜单,按钮级别权限控制,本地缓存提升性能 支持 SaaS 多租户系统,可自定义每个租户的权限,提供透明化的多租户底层封装 工作流使用 Flowable,支持动态表单、在线设计流程、会签 / 或签、多种任务分配方式 高效率开发,使用代码生成器可以一键生成前后端代码 + 单元测试 + Swagger 接口文档 + Validator 参数校验 集成微信小程序、微信公众号、企业微信、钉钉等三方登陆,集成支付宝、微信等支付与退款 集成阿里云、腾讯云等短信渠道,集成 MinIO、阿里云、腾讯云、七牛云等云存储服务 集成报表设计器,支持数据报表、图形报表、打印设计等 项目名 说明 传送门 ruoyi-vue-pro Spring Boot 多模块 GiteeGithub yudao-cloud Spring Cloud 微服务 GiteeGithub Spring-Boot-Labs Spring Boot & Cloud 入门 GiteeGithub 😎 开源协议 为什么推荐使用本项目? ① 本项目采用比 Apache 2.0 更宽松的MIT License开源协议,个人与企业可 100% 免费使用,不用保留类作者、Copyright 信息。 ② 代码全部开源,不会像其他项目一样,只开源部分代码,让你无法了解整个项目的架构设计。 ③ 代码整洁、架构整洁,遵循《阿里巴巴 Java 开发手册》规范,代码注释详细,57000 行 Java 代码,22000 行代码注释。 🐼 内置功能 系统内置多种多种业务功能,可以用于快速你的业务系统: 🐶 新手必读 演示地址【Vue3 + element-plus】:http://dashboard-vue3.yudao.iocoder.cn 演示地址【Vue2 + element-ui】:http://dashboard.yudao.iocoder.cn 启动文档:https://doc.iocoder.cn/quick-start/ 视频教程:https://doc.iocoder.cn/video/ 🐳 项目关系 后端项目 项目 Star 简介 ruoyi-vue-pro 基于 Spring Boot 多模块架构 yudao-cloud 基于 Spring Cloud 微服务架构 Spring-Boot-Labs 系统学习 Spring Boot & Cloud 专栏 前端项目 项目 Star 简介 yudao-ui-admin-vue3 基于 Vue3 + element-plus 实现的管理后台 yudao-ui-admin-vben 基于 Vue3 + vben(ant-design-vue) 实现的管理后台 yudao-ui-admin 基于 Vue2 + element-ui 实现的管理后台 yudao-ui-admin-uniapp 基于 uni-app + uni-ui 实现的管理后台的小程序 yudao-ui-go-view 基于 Vue3 + naive-ui 实现的大屏报表 yudao-ui-app 基于 uni-app + uview 实现的用户 App 更新说明 这是一个非常重要的版本更新,整个 Vue3 + element-plus 管理后台的重构,由社区 23 位同学共建完成! ① 下一个迭代,预计 6 月份,我们将会给大家带来 Vue3 + vben + ant-design-pro 管理后台版本,让你有更多的选择哟! ② 下下一个迭代,预计 7 月份,我们将会给大家带来 mall 商城系统?! 😳 “相信开源,与所有美好,不期而遇” 📈Statistic 总代码行数:125001 源码代码行数:77128 注释行数:28642 单元测试用例数:789 ⭐New Features 【新增】《代码热加载》文档,提升开发效率。 【新增】Vue 管理后台:优化 VSCode 代码 Debugger 调试,使用 VSCode 自带的功能,由@puhui999贡献#117 【新增】代码生成时,增加 UI 类型的选择,可生成 Vue2、Vue3 多种管理后台的代码,支持 CRUD Schema 模式,由@芋道源码贡献#453 【新增】代码生成器,支持 VBEN 管理后台,由@xingyu贡献#454 【优化】Vue3 管理后台:去除 BPMNJS、FormCreate、Highlight 的全局引入,降低打包后的大小(6.6M -> 1.3M),由@芋道源码贡献#128 【重构】Vue3 管理后台:[基础设施 -> 配置管理] 由@芋道源码贡献#24 【重构】Vue3 管理后台:[SSO 登录] 由@puhui999贡献#107 【重构】Vue3 管理后台:[基础设施 -> 数据源配置] 由@xiaowuye贡献#25 【重构】Vue3 管理后台:[系统管理 -> 通知公告] 由@babylazsss贡献#26 【重构】Vue3 管理后台:[系统管理 -> 文件管理] 由@xiaowuye贡献#29、#28 【重构】Vue3 管理后台:[系统管理 -> 字典管理] 由@Theo贡献#38 【重构】Vue3 管理后台:[系统管理 -> 错误码管理] 由@kinlon92贡献#39 【重构】Vue3 管理后台:[系统管理 -> 岗位管理] 由@Chika贡献#44 【重构】Vue3 管理后台:[系统管理 -> 登录日志] 由@lour6498贡献#41 【重构】Vue3 管理后台:[系统管理 -> 客户端管理] 由@yj441106贡献#60 【重构】Vue3 管理后台:[基础设施 -> 错误日志] 由@oldBaby贡献#43 【重构】Vue3 管理后台:[基础设施 -> 访问日志] 由@oldBaby贡献#48 【重构】Vue3 管理后台:[基础设施 -> 代码生成] 由@xiaowuye贡献#68 【重构】Vue3 管理后台:[基础设施 -> 定时任务] 由@孔思宇贡献#65 【重构】Vue3 管理后台:[系统管理 -> 租户管理] 由@东方白贡献#40 【重构】Vue3 管理后台:[系统管理 -> 租户套餐] 由@puhui999贡献#77、#75 【重构】Vue3 管理后台:[系统管理 -> 短信管理] 由@puhui999贡献#45 【重构】Vue3 管理后台:[系统管理 -> 部门管理] 由@凌太虚贡献#36 【重构】Vue3 管理后台:[系统管理 -> 敏感词管理] 由@syd贡献#55 【重构】Vue3 管理后台:[系统管理 -> 菜单管理] 由@Theo贡献#54 【重构】Vue3 管理后台:[系统管理 -> 用户管理] 由@fessor贡献#67、#76 【重构】Vue3 管理后台:[系统管理 -> 角色管理] 由@Chika贡献#63、#85 【重构】Vue3 管理后台:[系统管理 -> 站内信消息] 由@咱哥丶贡献#53 【重构】Vue3 管理后台:[系统管理 -> 站内信消息] 由@咱哥丶贡献#53 【重构】Vue3 管理后台:[公众号 -> 账号管理] 由@kinlon92贡献#49 【重构】Vue3 管理后台:[公众号 -> 标签管理] 由@矿泉水贡献#50 【重构】Vue3 管理后台:[公众号 -> 数据统计] 由@kinlon92贡献#69、#72 【重构】Vue3 管理后台:[公众号 -> 粉丝管理] 由@dhb52贡献#103 【重构】Vue3 管理后台:[公众号 -> 消息管理] 由@&wxr贡献#58、#70 【重构】Vue3 管理后台:[公众号 -> 图文草稿箱] 由@dhb52贡献#102 【重构】Vue3 管理后台:[公众号 -> 素材管理] 由@dhb52贡献#105 【重构】Vue3 管理后台:[公众号 -> 自动回复] 由@dhb52贡献#110 【重构】Vue3 管理后台:[商品中心 -> 商品分类] 由@孔思宇贡献#82 【重构】Vue3 管理后台:[商品中心 -> 商品属性] 由@孔思宇贡献#83 【重构】Vue3 管理后台:[商品中心 -> 商品品牌] 由@Aix贡献#104 【重构】Vue3 管理后台:[支付管理 -> 商户信息] 由@凌太虚贡献#81 【重构】Vue3 管理后台:[支付管理 -> 应用信息] 由@东方白贡献#116 【重构】Vue3 管理后台:[支付管理 -> 支付订单] 由@东方白贡献#116 【重构】Vue3 管理后台:[支付管理 -> 退款订单] 由@东方白贡献#116 【重构】Vue3 管理后台:[工作流 -> 我的流程] 由@Chika贡献#93 【重构】Vue3 管理后台:[工作流 -> 已办任务] 由@Chika贡献#90 【重构】Vue3 管理后台:[工作流 -> 待办任务] 由@Chika贡献#93 【重构】Vue3 管理后台:[工作流 -> 请假查询] 由@ZanGe丶贡献#108 【新增】Vue3 管理后台:增加全局权限判断函数 checkPermi 和 checkRole,由@LinkLi贡献#22 【新增】字典数据 starter 模块单元测试,由@与或非贡献#440 【新增】多租住 Job 部分的单元测试,由@与或非贡献#27 【优化】校验手机号码是否正确的正则,由@冰是睡着的水贡献#447 【新增】PasswordEncoder 加密复杂度自定义,由@Fanjc贡献#24 【新增】Vue3 增加@element-plus/icons-vue依赖,由@dhb52贡献#101 【优化】Vue3 管理后台:增加 Mp 账号 Select 下拉框组件,由@dhb52贡献#113、#118 【优化】Vue3 管理后台:使用 Editor 替代 WxEditor,移除@vueup/vue-quill依赖,由@dhb52贡献#121 【优化】Vue3 管理后台:公众号消息独立 MessageTable 等组件,解决消息弹窗不重置的问题,由@dhb52贡献#121 【优化】Vue3 管理后台:公众号的素材管理,拆分多个独立组建,由@dhb52贡献#126 【优化】Vue3 管理后台:公众号的自动回复,拆分 ReplyTable 列表组件,由@dhb52贡献#129 【优化】Vue3 管理后台:公众号的消息回复组件,不同消息拆分不同表单,提升可维护性,由@dhb52贡献#129 【优化】Vue3 管理后台:公众号的草稿管理件,拆分多个独立组建,由@dhb52贡献#129 【优化】Vue3 管理后台:公众号的菜单管理,拆分多个独立组建,由@dhb52贡献#129 【优化】Vue2 管理后台:将工作流的业务表单做为动态组件,直接显示到审批页面,不再需要点击查看,由@疯狂的世界贡献#432 【优化】Vue3 管理后台:将工作流的业务表单做为动态组件,直接显示到审批页面,不再需要点击查看,由@puhui999贡献#130 【重构】Vue3 管理后台:给所有组件添加 name 属性预防未知 bug!!! 由@puhui999贡献#125 🐞Bug Fixes 【修复】Flowable 无法自动建表问题,由@LinkLi贡献#427 【修复】Vue3 管理后台:包含字典表的页面加载时报错,由@毕梅贡献#21 【修复】Vue3 管理后台:ProcessDesigner.vue 编译错误(eslint),由@孔思宇贡献#23 【修复】积木报告建表语句错误,由@疯狂的世界贡献#430 【修复】基于 Spring Cloud Bus 实现的 Producer 抽象类,获取自己服务实例时获取不到,由@Lee.J.Eric贡献#26 【修复】修复某些情况下 ContextHolder 的 NPE 异常,由@xuing贡献#225 【修复】生成代码测试里面的时间问题(buildBetweenTime 方法),由@xiaohe4966贡献#228 【修复】Vue3 管你后台的各种验收 bug,由@周建贡献#32、#51、#56、#71、#84 【修复】PostgreSQLSQL 的 system_menu 表缺少component_name、always_show字段、缺少system_mail_account、system_mail_log、system_mail_template、system_notify_message、system_notify_template表,由@libran贡献#435、#435、#436、#437 【修复】订单的创建时间差 8 小时的问题,由@chop贡献#442 【修复】Vue2 短信验证码登录问题,由@打听幸福的下落贡献#438 【修复】工作流的审批任务列表的时间不正确的问题,由@SuperHao贡献#426 【修复】IP 查询时,因为空格导致异常问题,由@chasel-jc贡献#31 【修复】Spring Cloud 打包后,无法使用 java -jar 的问题,由@lovezhike贡献#28 【修复】点击遮罩层弹窗关闭后,页面就操作不了了会一直转圈的问题,由@puhui999贡献#78 【修复】设置 vite basePath 后,重新登录跳转路由错误,由@mgzu贡献#89 【修复】在 Vue3 + Vite4 模块中,使用顶层 await打 包的时候报错,由@puhui999贡献#78 【修复】Vue3 公众号素材选择时,获取 FreePublic 出错,以及分页溢出,由@dhb52贡献#96 【修复】Vue3 公众号图文显示有误,articles为数组,由@dhb52贡献#100 【修复】xss 请求 Wrapper getAttribute 方法返回错误,由@zhangxingjia贡献#451 【修复】支付通知的通知 Transaction 不生效的问题,由@kokoko贡献#450 【修复】修复工作流创建流程时,流程名可能不存在的问题,由@xushu贡献#439 【修复】修复租户名的重复问题,由@clockdotnet贡献#446 【修复】Vue3 debugger 位置异常,由@黄爱武贡献#114 【修复】Vue3 新增或修改菜单时,无法选择菜单图标的 Bug,由@chongyul贡献#2 【修复】Vue2 管理后台新增租户时,未校验账号、密码是否为空,由@LiZhongShi贡献#456 【修复】敏感词导出和字典数据编辑保存的两个 BUG,由@clockdotnet贡献#457 【修复】Vue3 管理后台:用户管理查询入参错误、站内信模板删除 API 调用错误,由@AhJindeg贡献#132 🔨Dependency Upgrades 【升级】knife4j from 4.0.0 to 4.1.0 【升级】spring-boot from 2.7.8 to 2.7.10 【升级】spring-doc 1.6.14 to 1.6.15 【升级】lombok from 1.18.24 to 1.18.26 【升级】druid from 1.2.15 to 1.2.16 【升级】jedis-mock from 1.0.6 to 1.0.7 【升级】hutool from 1.15.3 to 1.15.4 【升级】tika-core from 2.6.0 to 2.7.0 【升级】netty-all from 4.1.86.Final to 4.1.90.Final 【升级】minio from 8.5.1 to 8.5.2 【升级】tencentcloud-sdk-java from 3.1.676 to 3.1.715 【升级】alipay-sdk-java from 4.35.32.ALL to 4.35.79.ALL 【升级】ip-region from 2.6.6 to 2.7.0 ----------------------------------------------------------------------------------------------------------------------------------- 🐷 演示图 系统功能 模块 biu biu biu 登录 & 首页 用户 & 应用 租户 & 套餐 - 部门 & 岗位 - 菜单 & 角色 - 审计日志 - 短信 字典 & 敏感词 错误码 & 通知 - 工作流程 模块 biu biu biu 流程模型 表单 & 分组 - 我的流程 待办 & 已办 OA 请假 基础设施 模块 biu biu biu 代码生成 - 文档 - 文件 & 配置 定时任务 - API 日志 - MySQL & Redis - 监控平台 支付系统 模块 biu biu biu 商家 & 应用 支付 & 退款 --- 数据报表 模块 biu biu biu 报表设计器 移动端(管理后台) biu biu biu 商城系统 建设中...

优秀的个人博客,低调大师

数据库DevOps:我们如何提供安全、稳定、高效的研发全自助数据库服务-iDB/DMS企业版

数据管理DMS企业版地址: https://dms.aliyun.com/ 阿里云数据管理DMS 企业版已于2017.7.18正式发布,一期我们提供 MySQL、ORACLE、SQLServer、PostgreSQL、Mongo这几种数据库类型的数据管理服务,支持RDS、ECS自建、其他公网自建类型,支持经典网络、VPC网络,提供实例管理、用户管理、任务管理、安全规则、操作审计、权限管理、数据查询、数据变更/数据订正、数据导出、库表同步、SQL审核/sqlreview等功能。 DMS企业版在集团内部产品代号为iDB,是阿里巴巴集团从2010年开始逐步积累迭代出来的研发全自助数据库服务平台。 从最初解决数据安全访问诞生一个简单的查询页面(2011,iDB1.0时代-提升数据安全),到解决变更在线提交、满足既定设计规范的研发全自助线下表结构设计(2012,iDB2.0时代-解决变更在线化),再到sqlreview、研发有限自助变更线上、DMS个人版的上线(2013-2015,iDB3.0时代-提升研发效率),再到规则引擎、工作流引擎、任务调度引擎、CloudDBA、研发全自助变更(2016,iDB4.0时代-灵活、智能管控最大化提升研发效率); iDB在阿里内部不断完善,服务于内部几万用户每天各种各样的数据库研发使用的同时;2017年产品提出正式云化为云上广大中小企业提供成熟的企业数据库管理服务。 我们的目标是: 赋能研发全自助的数据库研发设计能力,提升企业的研发效率(不再因为集中管控人员瓶颈导致项目延期);在满足既定规范内全自助设计与变更,同时辅助CloudDBA性能诊断与优化让研发主动优化改造问题SQL、回收碎片空间、建立合适索引、删除无效索引提升研发的数据库专业技能 解放传统DBA的人肉操作,使其可以将精力转向诸如数据库架构设计等领域深挖;管理员、DBA轻松管理全局,只需要事先制定研发设计规范、研发流程即可轻松管理大批量实例的使用 数据分级、权限管控、操作审计、安全规则、访问IP白名单等一系列解决方案进一步提升企业的数据安全 以下是产品内部分主要功能的详细讲解介绍: 普通使用 权限管理 支持库、表、列三种对象粒度申请,列是指表上打标为敏感或机密的字段(即数据分级管控) 库权限包含有库下所有表含后续新增表的非敏感机密字段的权限 表权限仅包含表上非敏感机密字段的权限 权限申请对应的审批流程由管理员、DBA在【安全规则】按需实例级别进行指定配置 支持查询、导出、变更三种权限类型申请 导出、变更,是指可以提交对应的工单;并非直接执行对应操作 支持指定有效期,到期自动失效 数据owner可以随时查看对应库、表的权限开通情况进行回收或者追加授权 申请者本人也可以随时查看所开通权限情况进行主动释放或者续期申请 数据查询 开通“查询”权限后可以进行对应库、表的结构、数据等进行查询 全局单次查询返回行数有上限限制(默认200,由管理员按需调整;但不建议过大,过大可能会造成页面卡顿) 每人每天查询返回行数有上限限制(默认20000,由管理员按需调整) 每人每天查询次数有上限限制(默认2000,由管理员按需调整) 实例级别可指定查询超时时间(默认60,由管理员、DBA按需调整) 全局禁止大表全表扫描查询(默认10G,由管理员按需调整) 允许执行的SQL类型由管理员、DBA在【安全规则】按需实例级别进行指定配置 查询已经显示在页面的结果可导出excel、txt或insert脚本格式 逻辑库下对逻辑表配置路由算法可自动路由查询返回结果 数据变更/数据订正 开通“变更”权限后可以进行对应库、表的结构与数据等进行变更 工单提交时 会校验语法正确性(不正确则阻断不能提交) 会校验影响行数(可以与预期影响行数进行对比,不一致场景要注意SQL逻辑是否正确书写) 工单执行时 支持立即执行、指定时间执行(定时调度) 支持工单级别开启事务(不开启默认串行执行,遇到失败则终止不回滚;开启则遇到失败会全部回滚) 支持备份(默认开启,对update、delete语句影响的整行记录进行insert脚本的全备;如果变更不符合预期时可快速download附件进行恢复操作) 允许执行的SQL类型、不同需求对应工单的审批流程由管理员、DBA在【安全规则】按需实例级别进行指定配置 安全管控 串行调度:多人同时发起同一个实例的不同变更需求时,串行调度避免任务造成过大负载影响业务正常运行 并发检测:执行任务前会探测目标实例的繁忙程度,活跃会话超过指定阀值则退出休眠5秒再重新尝试;重试5次仍然繁忙则退出失败 执行间隔:每个SQL执行完根据SQL类型以及影响行数进行对应的间隔再调度下一条SQL,防止主备复制延迟 锁检测:在执行DDL语句时还会额外检测元数据锁,设置获取等待时长超过则重试直至获取到才执行DDL语句;重试5次仍然繁忙则退出失败 数据导出 开通“导出”权限后可以进行对应库、表的数据等进行导出 工单提交时 会校验语法正确性,仅支持select(不正确则阻断不能提交) 会校验影响行数(可以与预期影响行数进行对比,不一致场景要注意SQL逻辑是否正确书写) 工单执行时 可选择excel、csv、insert脚本三种格式 默认按照数据库字符集导出,部分场景库表字符集不一致可以指定表的字符集避免乱码 审批通过后24小时内要完成导出,24小时内可反复导出 导出成功后可直接下载最后一次成功的结果集(下载文件距离最后一次导出时间必须是一个月内) 不同需求对应工单的审批流程由管理员、DBA在【安全规则】按需实例级别进行指定配置 库表同步 开通源库的“查询”权限、目标库的“变更”权限后可以进行对应源库与目标库表结构的对比与同步 支持结构同步、空库初始化、表一致性修复三种常见场景 结构同步:源库表、目标库表,对比进行新建表或者修改表达到与源库表一致结构(表数量1:1对应) 适用于测试环境变更同步到其他环境,如生产环境发布等 空库初始化:将源库表结构完整拷贝至目标库 适用于多套环境的搭建,如测试环境搭建等 表一致性修复:将源库表、目标苦逼,对比进行新建表或者修改表达到与源库表一致结构(表数量1:N对应) 适用于分库分表场景下,分表结构一致性的保障check 不同需求对应工单的审批流程由管理员、DBA在【安全规则】按需实例级别进行指定配置 SQL审核/sqlreview 开通“查询”权限后可以进行对应库表代码内增删改查访问SQL进行审核 审核的是增删改查的SQL,非DDL语句 主要审核SQL语法书写是否正确、合规 不通过场景:存在`select * `、动态SQL、SQL注入写法 通过场景:SQL语法正确并且执行计划可以走上索引、执行计划走不上索引(会主动建议添加合适的索引,确保每个经过审核后上线的SQL都能有索引可走) java语言:支持Ibatis、Mybatis两种格式的附件 其他语言:需要将代码中的增删改查SQL按照模板整理后提交附件 不同需求对应工单的审批流程由管理员、DBA在【安全规则】按需实例级别进行指定配置 属于应用发布前的事前管控,限制选择的数据库是非生产环境(测试阶段结构已经变更,但线上结构是发布后才变更的) 系统管理 实例管理 目前支持类型 支持MySQL、ORACLE、SQLServer、PostgreSQL、Mongo几种数据库类型 支持RDS、ECS自建数据库、其他公网自建数据库 支持经典网络、VPC网络 实例级别灵活设置进行管理:查询超时时间、导出超时时间、运维负责人/DBA、【安全规则】 默认会在注册时自动采集实例上schema、表、字段、索引等相关元数据提供普通使用的权限管理及数据分级依据,也可以主动触发增量的同步 对于不需要使用的实例可以进行禁用或者删除:如大促期间禁用某个实例避免非生产服务压力 在授权后,可以自动同步当前账号下购买的rds实例列表;但正式使用需要完善相关信息测试账号可用后进行保存 与所有传统工具不一样,管理员一次录入后所有用户通过产品内各模块权限管控访问数据库表;所有用户不再接触数据库账号密码,即使人员流动账号也没有频繁修改更新的烦恼 用户管理 目前支持阿里云平行账号、主子账号两种形式 对于主子账号,在主账号作为管路员时可以一键同步所有关联的子账号 对于不需要使用的账号可以“禁用” 任务管理 所有从普通使用各个模块产生的变更SQL任务均会记录在此模块 管理员、DBA也可以直接对目标库表进行SQL变更(DML、DDL)任务的部署,区别在工单提交有对应流程审核管控;后台部署因为人员有限可控所以无流程管控 任务的执行的安全管控策略,同【数据变更/数据订正】的“安全管控”一致 安全规则 由审批节点、审批流程线、安全规则依次组成 审批节点:默认的有管理员、DBA(跟随实例走)、数据owner(跟随数据库、表走)三个节点,其他可以按需自定义;如安全管理员、测试负责人、研发负责人等 审批流程线:默认有5个组合好的流程线,单向逐一通过处理;同一个节点多个人时任意一个审批通过即通过 安全规则:默认有3个组合好的安全规则,高、中、低;可以按照业务实际需要组合新的安全规则或调整已有规则的审批流程达到根据不同的业务重要程度及所处阶段灵活管控不同的变更需求 操作审计 平台上产生的所有用户操作都会详细记录,管理员可以便捷的查看、溯源 某个用户某段时间做了哪些操作、针对某个模块做了哪些操作等 某个数据库、表,在某段时间被做了哪些操作、在某个模块内做了哪些操作等 访问IP白名单 对于每个企业都是独立的一套企业版部署,管理员在加入企业的员工、企业的数据库后,可以决定是否开启访问IP白名单限制 限制:仅在指定的服务器ip发出的请求才能登录使用DMS企业版,对于企业宽带运营商有固定的ip出口,可由管理员进行配置 在访问安全上DMS企业版做了四层管控: 1)阿里云账号、密码正确性校验 2)DMS企业版对应本企业员工校验:确保本企业员工才可使用 3)DMS企业版访问IP白名单校验:确保办公网内才可使用(规避员工流失未及时清理禁用账号的潜在风险、员工账号被外部非法盗用的潜在风险) 4)目标库表操作权限的校验(产品内体系化保障,规避员工接触数据库账号密码要频繁变更维护的风险与投入) 在以上这些主要功能之外,我们也提供如owner管理、代码生成器、配置管理、我的SQL、逻辑库逻辑表等诸多功能服务。 入口: 数据管理DMS企业版地址: https://dms.aliyun.com/

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册