首页 文章 精选 留言 我的

精选列表

搜索[稳定],共10000篇文章
优秀的个人博客,低调大师

签约案例|GreptimeDB 助力国家电网数字换流站打造稳定高效的时序数据底座

电网体系作为现代社会运行的支柱之一,为各行各业、千家万户提供了电能的基本支持。从家庭到企业,医院到学校,交通到通讯,电力电网的应用贯穿始终。近年来,特高压换流站成为国家电网的重点建设工程,“十四五”期间,国家电网公司规划建设特高压工程“24 交 14 直”,涉及线路 3 万余公里,变电换流容量 3.4 亿千伏安,总投资 3800 亿元。 国家电网 2024 年工作会议中提出将继续加大数智化坚强电网的建设。数智化坚强电网是将数字化、智能化技术深入融合嵌入电网生产运行与管理运营过程的新型电网形态。 数智化的发展为国家电网对数据的使用提出了更高的要求。通过建设云端和站端时序数据库平台,能够高效提高时序数据使用效率,大幅降低使用成本,为国家电网数智化建设提供坚实的数据基础保障。 项目背景 数字换流站项目是国家电网数智化的重点项目。每个特高压换流站有数千个大中型智能设备,处理数十万个测点的毫秒级精度数据,每天产生了数亿行的时序数据集。 面对如此海量的时序数据写入、查询和分析管理需求,此前站端使用的 CeresDB,InfluxDB 或基于 InfluxDB 自研等时序数据库产品已无法满足需求。同时,国家电网需要打破各个站端的数据孤岛,实现云站两端数据融合。 经过大量调研和产品性能测试,国家电网最终选择使用「格睿科技的 GreptimeDB 时序数据库企业版」产品作为数字换流站项目的「站端 + 云端的时序数据管理平台」,实现了数字换流站的跨站端时序数据的高效融合利用以及毫秒级精度的数据处理响应, 为国家电网数智化建设提供了高质量的数据基础。 项目挑战 随着国家电网数字化建设的进程加快及数字化应用的快速普及,对底层时序数据的质量和响应速度等要求也越来越高。数据使用的问题不断增加: 1. 时序数据孤岛 每个站端因建设时间差异和建设集成商选择区别等问题,导致最终不同站端的时序数据库和数据架构不一致,难以得到高质量、标准化的时序数据,影响站端和云端高级应用和人工智能等服务的规模化落地,形成了站端数据孤岛。 2. 数据使用效率低 海量时序数据响应速度慢 随着大规模传感器的部署实施,每个站端每天需要处理的时序数据量达到数亿行,海量时序数据的写入、查询和分析等能力随之下降,响应时间越来越慢。 时序数据计算能力弱,研发投入大 当应用侧对时序数据的兼容性和数据计算能力提出更高要求时,国家电网需要投入巨大的研发资源才能满足部分需求。 3. 数据使用成本高 随着数据量越来越大,数据的上传和云计算资源开销也成倍增加。 解决方案和架构 产品架构 数据库架构图 业务架构图 GreptimeDB 作为国家电网数字换流站数据底座的核心数据库产品,承担了换流站内设备的时序数据存储、查询、计算和管理的责任;统一了各个站端的数据架构;支持了海量时序数据的毫秒级精度的处理响应,为国家电网数字化应用提供了数据基础保障。 项目成果 1. 打破数据孤岛 GreptimeDB 统一了云端和站端的数据格式及模型,实现了几十个数字换流站站端数据与云端数据的高效融合与协同。 2. 实现海量数据毫秒级精度处理响应 GreptimeDB 可以轻松实现站端每天数亿行时序数据的毫秒级精度的实时写入、查询和分析,为数字孪生、智能运维和人工智能等应用提供可靠的基础数据保证。 3. 降低数据使用成本 GreptimeDB 可以支持三十倍以上的数据无损压缩能力、端云数据同构和边缘计算能力,大幅降低数据储存成本、云计算资源开销和数据上传的流量成本。 GreptimeDB 作为开源项目,欢迎对时序数据库、Rust 语言等内容感兴趣的同学们参与贡献和讨论。第一次参与项目的同学推荐先从带有 good first issue 标签的 issue 入手,期待在开源社群里遇见你! Star us on GitHub Now: https://github.com/GreptimeTeam/greptimedb 微信搜索 GreptimeDB,关注公众号不错过更多技术干货和福利~ 关于 Greptime Greptime 格睿科技专注于为物联网(如智慧能源、智能汽车等)及可观测等产生大量时序数据的领域提供实时、高效的数据存储和分析服务,帮助客户挖掘数据的深层价值。目前主要有以下三款产品: GreptimeDB 是一款用 Rust 语言编写的开源时序数据库,具有云原生、无限水平扩展、高性能、融合分析等特点,帮助企业实时读写、处理和分析时序数据的同时,降低长期存储的成本。我们提供 GreptimDB 企业版,支持更多功能和定制化服务,如有需要欢迎联系小助手:15310923206(微信同) GreptimeCloud 是一款全托管的云上数据库即服务(DBaaS)解决方案,基于开源时序数据库 GreptimeDB 打造,能够高效支持可观测、物联网、金融等领域的应用。用户可以通过内置的可观测解决方案 GreptimeAI 全面地掌握 LLM 应用的成本、性能、流量和安全等情况。 车云一体解决方案 是一款深入车企实际业务场景的车云协同数据解决方案,解决了企业车辆数据呈几何倍数增长后的实际业务痛点。多模态车端数据库结合云端 GreptimeDB 企业版帮助车企极大降低流量、计算和存储成本,并帮助提升数据实时性和业务洞察能力。 GreptimeDB 作为开源项目,欢迎对时序数据库、Rust 语言等内容感兴趣的同学们参与贡献和讨论。第一次参与项目的同学推荐先从带有 good first issue 标签的 issue 入手,期待在开源社群里遇见你! 官网:https://greptime.cn/ GitHub: https://github.com/GreptimeTeam/greptimedb 文档:https://docs.greptime.cn/ Twitter: https://twitter.com/Greptime Slack: https://www.greptime.com/slack LinkedIn: https://www.linkedin.com/company/greptime

优秀的个人博客,低调大师

阿里云文件存储极速型NAS正式上线商用,打造百微秒级稳定时延的共享文件存储

4月15日,阿里云文件存储极速型NAS正式上线商业化,针对共享文件存储在海量小文件场景下的性能短板进行了深度优化,大幅度降低了小文件读写的IO响应时延,提升性能。 据介绍,极速型NAS主要在高性能WEB应用/网站、DevOPS的CI/CD开发测试和持续集成环境,实时日志分析,以及容器持久化共享存储等应用场景,帮助用户既可以通过共享存储简化IT架构,又能在云上享受到企业级存储的高性能。 阿里云文件存储产品负责人张晓表示,文件存储的海量小文件性能问题一直是业界同类产品的通病,过高的IO时延通常会导致系统响应过慢,系统负载过高,网站卡顿,容器启动加载速度减慢。极速型NAS主要从底层基础架构进行优化,包括RDMA网络升级,用户态软件协议栈优化,盘古2.0分布式存储升级,小文件访问时延下降50%。 阿里云文件存储专家田磊磊表示,未来极速型还会在协

优秀的个人博客,低调大师

【双11背后的技术】Weex 双11会场大规模应用的秒开实战和稳定性保障

选自《不一样的技术创新——阿里巴巴2016双11背后的技术》,全书目录:https://yq.aliyun.com/articles/68637 本文作者:鬼道 前言 Native 开发的诸多亮点中,流畅体验和系统调用是最多被提及的。流畅体验体现在页面滚动/动画的流畅性,背后是更好的内存管理和更接近原生的性能;同时又是 Web 的痛点:资源首次下载、长页面内存溢出和滚动性能、动画性能、传统 web 性能(如JS执行效率)。Native 有丰富的系统调用能力,而 Web 痛点在于:W3C 标准太慢,有限的设备访问能力,API 兼容性问题较严重,如 Geolocation 在 Android Webview 中可用性很差。 Web 开发同样有诸多亮点,其中最耀眼的当属发布能力和规模协作。Native App 商店审核周期长(尤指 iOS)

优秀的个人博客,低调大师

ElasticSearch Shard——本质上是做分布式扩展,副本对于集群的稳定性有很强的影响

什么是一个Shard? Shard就是一个Lucene Index,参照文章(深入理解Shard和Lucene Index)。 Index需要多少个Shard? 回答这个问题,我们需要先谈谈节点,一个集群有多个节点,具体需要多少个节点合适,是另外一个问题,但是这个数字也会影响我们对Shard数的设置。 Shard数 = Node数? 总体上说,当我们节点数和Shard数相等时,ElasticSearch集群的性能可以达到最优。即,对于一个3节点集群,我们为每个集群节点分配一个Shard,总共3个Shard。但是由于ElasticSearch的不可变性(Immutable)的限制,系统无法对Shard进行重新拆分分配,除非重新索引这个文件集合。所以,当我们需要增加更多节点的时候,又希望Shard能利用到增加节点带来的系统性能提升时,我们就不得不进行重新索引,由于重索引开销巨大,这是我们不希望看到的。 StackExchange用ElasticSearch支持它的搜索,当前(2016-3-1日),它网站的ElasticSearch索引占用440GB。 如果需要重新建立索引,将会是一个巨大的开销,为了支持未来可能的水平扩展,我们会为集群分配比node数更多的shard数,也就是说每个节点会有多个Shard。 如果单个node分配多个shard,就会引入另外一系列的性能问题,我们知道对于任意一次完整的搜索,ElasticSearch会分别对每个shard进行查询,最后进行汇总。当节点数和shard数是一对一的时候,所有的查询可以并行运行。但是,对于具有多个shard的节点,如果磁盘是15000RPM或SSD,可能会相对较快,但是这也会存在等待响应的问题,所以通常不推荐一个节点超过2个shard。 3节点6shard,即每个节点2shard,这可以使我们在未来轻松的横向扩展到6个节点,应对许多极端的场景。 Replicas数呢? Replica也是Shard,与shard不同的是,replica只会参与读操作,同时也能提高集群的可用性。对于Replica来说,它的主要作用就是提高集群错误恢复的能力,所以replica的数目与shard的数目以及node的数目相关,与shard不同的是,replica的数目可以在集群建立之后变更,切代价较小,所以相比shard的数目而言,没有那么重要。 Replica的故事(宕机) 3 node, 3 shard, 0 replica 一个节点宕机 整个服务不可用 3 node, 3 shard, 1 replica (each) 一个节点宕机 两个节点宕机 服务仍然可用 3 node, 3 shard, 2 replica (each) 当存储费用较低时,可以考虑 摘自:http://www.cnblogs.com/richaaaard/p/5231905.html 本文转自张昺华-sky博客园博客,原文链接:http://www.cnblogs.com/bonelee/p/7454214.html,如需转载请自行联系原作者

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册