首页 文章 精选 留言 我的

精选列表

搜索[撒谎模式],共10000篇文章
优秀的个人博客,低调大师

大数据网管运营数据存储模式研究

云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 随着近两年通信流量业务开展得如火如荼,更多的用户上网行为的数据分析需求猛增,而处理这类数据需要大量的写入处理,而且字段不固定,传统的关系型数据库已无法满足需求,急需多节点的分布式大数据集群来解决数据处理及存储问题。 本研究构建了一套大数据采集、存储体系,将系统分为采集层、ODS、DW、DM等四层,分别完成海量数据的采集、汇总、处理、生成价值数据过程中的不同环节。其中,采集层负责原始数据的采集,ODS层负责统一不同系统间的业务内容,对部分海量数据的非结构化数据进行转换。DW层是以空间换时间的一层,要形成大量的基础Cube,基础常用业务粒度的数据。实现统一的KPI过程,是ODS层指标转换的基础。DM层主要是面向业务的组合,面向分析的Cube变换,面向挖掘的数据变换。 数据分类存储 在数据存储过程中,按照数据价值和生命周期管理原则(热数据对存储性能要求高,随着数据生命周期的变化,数据价值降低,逐渐向一般性能存储迁移,其中数据价值的参考项包括时效性、访问频率、价值密度、业务意义等),可以将不同数据分类存储,制定不同的存储方式及存储周期。 对于采集层的原始数据,将采集层的数据加载到基础数据缓存,为数据整合提供缓存,其中大数据1~3天,传统数据7天。对于ODS层数据,通过内存库关联与整合,ETL为ODM提供完整、准确的数据。该层存储周期:大数据3个月,传统数据1年。对于DW层数据,通过基于数据模型的并行计算域数据库计算,提供多用途的轻度汇总,该层数据类型主要为按维度、事实组织的数据,存储周期为3年。 数据处理及存储过程采用了分布式架构,其中有两项关键技术—HDFS和MapReduce,应用这两项技术能给系统带来如下技术优势。 Hadoop分布式文件系统适合运行在通用硬件(x86服务器)上的分布式文件系统,HDFS对外开放文件命名空间并允许用户数据以文件形式存储;MapReduce能自动将一个作业(Job)待处理的大数据划分为很多个数据块,每个数据块对应于一个计算任务(Task),并自动调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点(Map节点或Reduce节点),同时负责监控这些节点的执行状态,并负责Map节点执行的同步控制。 具体应用案例 通过该系统的推进落地,吉林省完成了省内大数据处理平台—数据共享平台的建设,该系统日均处理数据超过10T左右,并为吉林省内多个上层应用提供了数据支撑,比如互联网端到端系统能以四大类关键业务(网页浏览类、视频类、即时通信类、应用下载类)进行端到端质量分析,通过五元五阶分析定位方法,能够定位质差业务SP、质差小区、质差核心网网元、质差终端等,并找出业务问题原因;CSFB业务质量分析系统能实现全流程质量概况分析、全流程质差网元问题定位分析;客户满意度画像从覆盖质量、网络感知等网络指标判断用户满意度,做到在被投诉之前发现问题。 这些应用在吉林省内日常的网络问题分析、优化,业务预测、发展支撑等方面发挥着有力的数据支撑作用。 【云栖号在线课堂】每天都有产品技术专家分享!课程地址:https://yqh.aliyun.com/live 立即加入社群,与专家面对面,及时了解课程最新动态!【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK 原文发布时间:2020-07-14本文作者:金浩本文来自:“51CTO”,了解相关信息可以关注“51CTO”

优秀的个人博客,低调大师

第九弹 - 脚本模式与参数视图

MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。 MaxCompute基于ODPS2.0新一代的SQL引擎,显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出MaxCompute(ODPS2.0)重装上阵系列文章 第一弹 - 善用MaxCompute编译器的错误和警告第二弹 - 新的基本数据类型与内建函数第三弹 - 复杂类型第四弹 - CTE,VALUES,SEMIJOIN第五弹 - SELECT TRANSFORM第六弹 - User Defined Type第七弹 - Grouping Set, Cu

资源下载

更多资源
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册