首页 文章 精选 留言 我的

精选列表

搜索[元数据管理]，共10000篇文章
优秀的个人博客,低调大师

阿里云发布分布式数据库PolarDB-X，应对海量数据管理

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 一场不期而至的疫情给不少企业的生产经营带来不小的影响，使得很多活动被迫转到了线上，包括很多新闻发布会。日前，阿里云也举办了一场线上的活动——云上的峰会，在会上阿里云发布了包括第七代ECS、POLARDB-X数据库、视觉智能开放平台、新一代阿里云数据中台、阿里云专有云敏捷版和混合云管理平台、云原生数据仓库和数据湖解决方案，以及城市大脑3.0、政务中台、阿里巴巴未来社区等众多行业解决方案。 从全面上云到加速重构 近几年，云计算在中国得到快速普及，不少企业或多或少从云计算技术中受益。阿里云继去年提出要全面上云之后，今年提出要深化云的应用，也就是“加速重构”。 在阿里云智能总裁张建锋看来，全面上云是一个技术性阶段，重点在于从原来的非云基础设施转变为云；而全面重构是一个更强的深化。 阿里云智能总裁张建锋 “上云更多着眼于技术升级，而要重构，就需要关注的面会更广，包括理念要升级，组织要升级，经营模式、运营模式要升级。”张建锋说。基于这一个认识，张建锋表示，阿里云明确提出要“做深基础，做厚中台，做强生态”。所谓“做深基础”是指继续要做芯片、数据库、路由器、交换机等，基于云的特点来构建整套的IT基础体系。 “做厚中台”是在“中台”这个新型的操作系统上提供更多的功能，以方便上层的应用开发，这些功能包括AI能力、大数据的处理、IOT的能力以及对移动。值得一提的是，在阿里的中台中钉钉被赋予了重任，张建锋表示，钉钉已经远不只是一个沟通工具，它更是一个平台，阿里中台的重要组成部分。 “做强生态”是指不是阿里云来做所有事情的。阿里云愿意在一个开放的体系中，让所有软件开发商、其他合作伙伴基于云的结构、基于一个新型的操作系统来帮助各行各业完成应用的开发和交付。 “我们提出做深基础、做厚中台、做强生态，这是我们作为数字经济时代基础的一个主要的出发点，也是一个落脚点。 云原生的分布式数据库PolarDB-X 在阿里云线上峰会上，阿里云一口气发布六款产品和多款解决方案，这也是具体落实张建锋所说的“做深基础、做厚中台、做强生态”战略。阿里云的分布式数据库PolarDB-X也是其中之一。 PolarDB-X采用了基于云原生一体化架构设计，这款阿里云自研的分布式数据库可支撑千万级并发规模，专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等瓶颈问题。 PolarDB-X很容易让人联想到2018年阿里云推出的云原生数据库PolarDB，这也是阿里云数据库业务中成长最快的业务。PolarDB本质上还是一个集中式数据库，但它其实已经享受到分布式技术的红利了，PolarDB采用了计算、存储分离的架构，其底层采用的就是分布式共享存储，从而可以保证数据库的海量存储能力，而PolarDB-X将这种分布式的能力扩展到了计算层。 “PolarDB的计算是一写多读多个计算节点，最多做到16个节点，现在，PolarDB-X相当于在PolarDB之上又加上了一个分布式拓展层，这样可以根据企业的并发需求、数据量进行水平拓展。”阿里巴巴副总裁、阿里云数据库负责人李飞飞说。 阿里巴巴副总裁、阿里云数据库负责人李飞飞 在李飞飞看来，PolarDB-X的一大亮点是借助PolarDB-X的水平拓展层来支持分布式的事务处理和分布式查询，并最终为客户提供一个完整的从云原生再到分布式架构上的升级路径。另一个特点是，PolarDB-X是一体化透明式分布式数据库，也就是说业务系统不需要去关心，也就是不需要传统的中间件，也不需要分布、分表，因此对业务系统的侵入性会非常非常小。 据悉，PolarDB-X也是阿里巴巴核心系统正在使用的数据库。PolarDB-X连续多年稳定支撑了天猫双11，在1秒钟内系统负载增加了135倍情况下依然保持稳定，峰值TPS达8700万次，但成本仅为传统数据库的 1/6。 云数据库是技术演进的必然趋势 发展至今，数据库已经有超过40年的历史，特别是关系数据库不管是历史还是技术都已经非常成熟，而随着云计算的普及，数据库市场迎来快速变革，这就是以云原生数据库为代表的新一代数据库的出现。Gartner曾就此专门发布研究报告认为，数据库的云化是必然趋势。 李飞飞在接受采访时表示，云原生数据库是技术自然演进的必然结果。不管是在中国市场还是海外市场，都可以看到云原生架构为企业业务带来的实实在在的技术红利。从市场来看，这几年云数据库的崛起也的确非常迅速，开始抢占传统数据库的市场。 李飞飞认为，云实现了资源池化，但要把资源池化的优势发挥出来，还要用分布式的能力实现水平拓展、弹性、高可用。 “把云原生和分布式能力完美良好的结合在一起，同时再利用K8S容器化的这种部署方式，可以使得整个运维管控大大简化、编排大大简化，这是整个数据库技术的第一个趋势。”李飞飞说。 除了数据库的云化之外，李飞飞认为数据库技术还有以下两个明显趋势： 一个是数据仓库和数据库系统一体化，即HTAP数据库。如果数据库和数据仓库一体化，就是实现数据交易处理和数据分析利用同一套系统处理，好处是数据从生产到处理到存储到消费，可以完美的处理好，而不用将数据在各个系统之间来回迁移。 最后是智能化。得益于人工智能技术的快速进步和普及，智能化已经在数据库的各个层面得到应用，并且与数据库系统进行深入整合，帮助实现数据库运维的智能化、自动化，也就是现在经常说的“自动驾驶的数据库”。 李飞飞表示，阿里云要客观认识自己，既要认识到自己的长足，同时也要认识到自己的不足。比如，Oracle领导数据库市场40多年，在数据库内核上积累了自己的优势（比如查询优化），有非常明显的优势。另一方面，正因为它在传统商业数据库领域深耕多年，体量大、整个系统非常复杂，想向云转身没那么容易的，要经过非常大的代码修改和架构改造。相对而言，云计算厂商去做数据库，没有历史包袱，更加有利于在新的赛道上发挥出自己的技术优势。这也是PolarDB等云原生数据迅速崛起的背景。 【云栖号在线课堂】每天都有产品技术专家分享！课程地址：https://yqh.aliyun.com/zhibo 立即加入社群，与专家面对面，及时了解课程最新动态！【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK 原文发布时间：2020-06-17本文作者：邹大斌本文来自：“至顶网”，了解相关信息可以关注“至顶网”
2020-06-17
优秀的个人博客,低调大师

加强大数据管理 将公共资源数据交由第三方保存

国务院《促进大数据发展行动纲要》（以下简称《纲要》）公开发布，开启了国家系统部署大数据发展工作的序幕。《纲要》提出，要从政府大数据、新兴产业大数据、安全保障体系三个方面着手，推进大数据领域十大工程建设；要全面推进大数据发展和应用，加快政府数据开放共享，深化大数据在各行业创新应用；通过建设数据强国，提升政府治理能力，推动经济转型升级。 全国人大代表、中国通信服务青海公司总经理邓晓辉认为，《纲要》是中国大数据领域的顶层设计，标志着大数据战略正式上升为国家战略。当前，不论我们称之为大数据时代、互联网时代，还是物联网时代、智能穿戴时代，它们都有一个共同的特征，就是信息数据化。当人与物都被数据化之后，就意味着巨大的商机蕴藏到了这些数据中。 面对大数据所蕴含的巨大价值，不必担心其商业价值的有效利用，而应担心数据背后的安全隐患。目前，由单一机构保存数据的方式非常普遍，在数据集中有效利用以及数据安全等方面都存在诸多隐患。 一是哪些数据可以通过第三方进行保存。针对数据的重要性和保密等级，需要对数据范围进行界定。公共资源数据涉及生产、生活、安全等诸多方面，如果安全等级较高的数据泄露，危害国家安全和人民生命财产，其后果不堪设想。目前，对于界定在第三方进行保存的数据，还缺乏针对性较强的法律法规。 二是海量数据保护难度大。公共资源数据的爆发式增长是基于大数据时代的发展。而大数据具有数据量大、数据类型繁多、数据生成速度快以及价值密度低等特点，若不对数据进行筛选过滤，对重点数据进行针对性强化保护，那么对公共资源数据的保护必将陷入成本高、效率低、耗时久、质量差的泥潭。 三是监管尚未到位。目前的数据第三方保存主要基于各地的信息中心、数据中心和部分大型互联网企业的服务和设备。而在这些企业或单位获得大量公共资源数据之后，在缺乏监管的情况下可能会隐秘地收集、处理、使用公共资源数据信息，特别是不能排除在利益驱动下对数据的恶意修改。 邓晓辉代表希望国家尽快研究出台第三方数据保存的相应制度规范，提出了以下四条建议： 一是要进一步规范大数据中心建设。国家要统一规划数据中心建设，既要保证数据的有效存储、采集、利用，也要防止过度重复建设，避免资源浪费和数据集中度不足，影响数据的利用、共享。 二是对公共资源数据的安全范围进行明确化界定。对于那些涉及信息安全的数据，一定要尽可能给予保护；对于那些有可能涉及个人隐私的数据，要在进行安全处理之后才能部分开放。法律和行业规范的制定与实施应该和技术保持同步，相互补充，对公共资源数据的存储、使用和发布也必须严格地按照法律和行业规定执行，构建良好的大数据环境，这样才能更好地保障信息安全和个人隐私。 三是可以通过完善相应的法律条款来打击公共资源数据不法泄露行为。遵循已有的法律法规，对涉及信息安全的数据泄露行为进行严厉打击，做到有法必依、执法必严。在此基础上应进一步完善个人隐私保护的法律法规，尽快推进《个人信息保护法》的立法工作。 四是建立各单位企业通用的公共资源数据保存安全条例，加之相应的法律规范来达到公共资源数据的第三方保存安全保护的目的。政府和数据提供方应对数据的安全性进行筛选，以免泄露涉密信息或与数据安全相关的信息。相关单位和企业则要对数据安全保护高度重视，应做到数据保存者、使用者对其保存和使用的行为承担法律责任。 本文转自d1net（转载）
2017-07-02
优秀的个人博客,低调大师

数据管理DMS 全量SQL诊断：你的SQL是健康的蓝色，还是危险的红色？

三大难点问题 使用MySQL数据库的用户，不可避免都会遇到下面三个难题： 1、历史问题难定位 数据库凌晨3点发生了CPU 100%的告警，但是该时间段却没有任何慢SQL，怎么继续查找原因？ 2、SQL压测模版难获取 下周要进行大促压测，DBA只能找业务方一个个的收集SQL模版、执行频率，这种方式效率低，并且无法保证正确性； 3、慢SQL是否要优化不是所有的慢SQL都需要第一优先级优化，用户迫切需要知道数据库上哪些SQL最消耗资源，优化这些SQL，才可以提高实例的稳定性； 全量SQL诊断可以快速的解决上述问题。 重要功能简介 执行耗时分布 如果一个实例的“执行耗时分布”越接近蓝色，代表这个实例的SQL健康情况越好，越接近橙色和红色，代表这个实例的SQL健康情况越差。 “执行耗时分布”展示了选定时间范围内，所有SQL的执行耗时分布，将执行耗时分为了7个区间，每分钟计算一次，分别是： [0,1]ms 满足0ms ≤ 执行耗时 ≤ 1ms SQL执行次数占比 (1,2]ms 1ms < 执行耗时 ≤ 2ms SQL执行次数占比 (2,3]ms 2ms < 执行耗时 ≤ 3ms SQL执行次数占比 (3,10]ms 3ms < 执行耗时 ≤ 10ms SQL执行次数占比 (10,100]ms 10ms < 执行耗时 ≤ 100ms SQL执行次数占比 (0.1,1]s 0.1s < 执行耗时 ≤ 1s SQL执行次数占比 >1s 1s < 执行耗时 SQL执行次数占比 例如 :2017-10-12 19:15:00 该实例 执行耗时在[0,1]ms的SQL执行次数占比是80%;执行耗时在(3,10]ms的SQL执行次数占比是13.33%;执行耗时在(0.1,1]s的SQL执行次数占比是6.67%。 执行耗时（SQL RT） 通过执行耗时，可以方便的查看在选定的时间范围内，每一分钟 SQL的执行耗时。 SQL列表 SQL列表展示了选定时间范围内每一类SQL的SQL文本、耗时比例、平均执行耗时、返回行数等信息。 耗时比例＝（该类SQL执行耗时 执行次数)/（所有SQL执行耗时 总执行次数） * 100% 所以耗时比例越高的SQL，基本上可以简单的理解为占用MySQL资源越多的SQL，优化该SQL，可以获取更高的收益比，以下图的场景为例： 红框圈定的SQL，平均耗时是67.78ms，执行次数43次，所以耗时比例是67.18%； 黄框圈定的SQL，虽然平均耗时达到209.99ms，但是因为执行次数只有一次，所以耗时比例只有4.84%； 所以在业务模型没有变化的情况下，优化第一条SQL，可以更好的降低实例的资源使用，提升实例的稳定性； SQL明细 点击SQL ID，可以查看该类SQL执行计划、性能趋势、SQL样本: 前提条件 用户获取权限并已登录DMS控制台。 DMS 全量SQL诊断功能目前不会进行收费，但是使用该功能的前提用户需要开启SQL审计，该功能是收费功能，计费标准。 背景信息 目前暂时仅支持云数据库 RDS 版 MySQL 实例（暂不支持MySQL 5.7）。 操作步骤 登录DMS控制台——>选择MySQL数据库——>选择“性能”菜单——>点击“SQL趋势”——>点击“全量SQL诊断” 详细操作步骤如下： 登录DMS控制台后，界面如下图所示： 选择MySQL数据库，并单击登录数据库按钮进行登录。 如下图所示，在顶部导航栏菜单中，选择性能>SQL趋势：
2017-10-15

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-08-21 大小: 1MB 下载: 10次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2026-08-21 大小: 5MB 下载: 2次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-08-21 大小: 1.42GB 下载: 6次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2026-08-21 大小: 9.84MB 下载: 40次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册