首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/u/3234792/blog/17221518

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

案例分享|Alluxio数据流转方案在联通智网的应用

分享嘉宾 陈得泳 - 中国联通大数据平台 SRE 工程师,致力于基于开源生态构建稳定、高效、安全、低成本的大数据集群。 观看完整分享回放 业务背景 统一底座和安全基座位于不同IDC; 统一底座:承接 O 域全域网络数据,包括移动网信令、告警、故障、资源以及固网数据等基础数据加工的大数据集群,位于郑州 IDC; 安全基座:是应对网络安全专项支撑的大数据分析平台,位于呼和 IDC。 统一底座加工后的DNS/NetFlow等固网基础数据,支撑安全基座数据分析需求。 数据规律 O 域统一底座每小时生产数据,存储于 HDFS 集群,需要在一小时内传输至安全基座的 HDFS 集群,供业务加工,两套大数据平台都有自己独立的 KDC; 每小时的数据呈规律性波动,日传输数据总量达 310TB,平均每小时约 13TB(波峰 16TB,波谷 4.6TB)。 业务挑战 310TB 的数据分布在 6张 Hive 表,此数据同步任务吞吐性能受限于以下挑战: 带宽受限:因为没有单独的专线,两个 IDC 之间的数据传输复用了共享的带宽,存在 15GB/s 限制 ,避免数据传输任务影响共享带宽中其它跨域交互的业务; ...

用 Rust 重写 Redis 后,性能还更好?

2024 年 7 月,就眠儀式发布 Rudis 第一个版本的时候,有很多不友好的声音。 “闲得蛋疼”“所谓的自主创新”“有啥意义?”“开始造轮子是吧”“开源不值钱”······ Rudis ,是一个采用 Rust 语言重现实现 Redis 核心功能的开源项目。Redis 是一个开源的内存数据库,提供了高性能的键值(key-value)存储系统,常用于缓存、消息队列、会话存储等应用场景,而且采用开源协议是 BSD,对用户也十分友好。 何必要用 Rust 重写 Redis 呢? 就眠儀式认为,Rust 语言本身就是具备优势的,通过 Rust 反推 Redis 通讯协议提供一个更安全和高性能的内存数据库,是一个不错的选择。并且他认为,这个需求会继续长期存在。 不过,他也坦白:“现阶段无法去确认其价值,而是通过不断的做,把这件事变成 '对的'。” 就眠儀式不仅开发了 Rudis ,同时也是 Pear Admin 负责人,以及另外两个开源项目 layui-vue、Binlog4j 的作者。 Pear Admin:Pear Admin 是一个基于 Vue、Spring Boot、Layui 等技术...

相关文章

发表评论

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Apache Tomcat

Apache Tomcat

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

JDK

JDK

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。