大数据网管运营数据存储模式研究-低调大师

大数据网管运营数据存储模式研究

2020-07-13 531

云栖号资讯：【点击查看更多行业资讯】
在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！

随着近两年通信流量业务开展得如火如荼，更多的用户上网行为的数据分析需求猛增，而处理这类数据需要大量的写入处理，而且字段不固定，传统的关系型数据库已无法满足需求，急需多节点的分布式大数据集群来解决数据处理及存储问题。

本研究构建了一套大数据采集、存储体系，将系统分为采集层、ODS、DW、DM等四层，分别完成海量数据的采集、汇总、处理、生成价值数据过程中的不同环节。其中，采集层负责原始数据的采集，ODS层负责统一不同系统间的业务内容，对部分海量数据的非结构化数据进行转换。DW层是以空间换时间的一层，要形成大量的基础Cube，基础常用业务粒度的数据。实现统一的KPI过程，是ODS层指标转换的基础。DM层主要是面向业务的组合，面向分析的Cube变换，面向挖掘的数据变换。

数据分类存储

在数据存储过程中，按照数据价值和生命周期管理原则(热数据对存储性能要求高，随着数据生命周期的变化，数据价值降低，逐渐向一般性能存储迁移，其中数据价值的参考项包括时效性、访问频率、价值密度、业务意义等)，可以将不同数据分类存储，制定不同的存储方式及存储周期。

对于采集层的原始数据，将采集层的数据加载到基础数据缓存，为数据整合提供缓存，其中大数据1~3天，传统数据7天。对于ODS层数据，通过内存库关联与整合，ETL为ODM提供完整、准确的数据。该层存储周期：大数据3个月，传统数据1年。对于DW层数据，通过基于数据模型的并行计算域数据库计算，提供多用途的轻度汇总，该层数据类型主要为按维度、事实组织的数据，存储周期为3年。

数据处理及存储过程采用了分布式架构，其中有两项关键技术—HDFS和MapReduce，应用这两项技术能给系统带来如下技术优势。

Hadoop分布式文件系统适合运行在通用硬件(x86服务器)上的分布式文件系统，HDFS对外开放文件命名空间并允许用户数据以文件形式存储;MapReduce能自动将一个作业(Job)待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务(Task)，并自动调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点(Map节点或Reduce节点)，同时负责监控这些节点的执行状态，并负责Map节点执行的同步控制。

具体应用案例

通过该系统的推进落地，吉林省完成了省内大数据处理平台—数据共享平台的建设，该系统日均处理数据超过10T左右，并为吉林省内多个上层应用提供了数据支撑，比如互联网端到端系统能以四大类关键业务(网页浏览类、视频类、即时通信类、应用下载类)进行端到端质量分析，通过五元五阶分析定位方法，能够定位质差业务SP、质差小区、质差核心网网元、质差终端等，并找出业务问题原因;CSFB业务质量分析系统能实现全流程质量概况分析、全流程质差网元问题定位分析;客户满意度画像从覆盖质量、网络感知等网络指标判断用户满意度，做到在被投诉之前发现问题。

这些应用在吉林省内日常的网络问题分析、优化，业务预测、发展支撑等方面发挥着有力的数据支撑作用。

【云栖号在线课堂】每天都有产品技术专家分享！
课程地址：https://yqh.aliyun.com/live

立即加入社群，与专家面对面，及时了解课程最新动态！
【云栖号在线课堂社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间：2020-07-14
本文作者：金浩
本文来自：“51CTO”，了解相关信息可以关注“51CTO”

微信关注我们

原文链接：https://yq.aliyun.com/articles/767765

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

使用OpenCV实现道路车辆计数

点击上方“小白学视觉”，选择加"星标"或“置顶” 重磅干货，第一时间送达今天，我们将一起探讨如何基于计算机视觉实现道路交通计数。在本教程中，我们将仅使用Python和OpenCV，并借助背景减除算法非常简单地进行运动检测。我们将从以下四个方面进行介绍： 1. 用于物体检测的背景减法算法主要思想。 2. OpenCV图像过滤器。 3. 利用轮廓检测物体。 4. 建立进一步数据处理的结构。背景扣除算法有许多不同的背景扣除算法，但是它们的主要思想都很简单。假设有一个房间的视频，在某些帧上没有人和宠物，那么此时的视频基本为静态的，我们将其称为背景（background_layer）。因此要获取在视频上移动的对象，我们只需要：用当前帧减去背景即可。由于光照变化，人为移动物体，或者始终存在移动的人和宠物，我们将无法获得静态帧。在这种情况下，我们从视频中选出一些图像帧，如果绝大多数图像帧中都具有某个相同的像素点，则此将像素作为background_layer中的一部分。我们将使用MOG算法进行背景扣除原始帧代码如下所示： import osimport loggingimport...

2020-07-10

626

云栖号资讯：【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ ModiHost是一套面向酒店客户的新平台，旨在利用人工智能技术，带来更强大的酒店管理系统，高度强调为住客提供个性化体验。以此为基础，酒店又能借此增加收入并提升品牌忠诚度。内部人士表示，这套平台已经探索出运营密码，能够牢记每位客人的喜好，并以预测方式为其潜在需求提供解决方案，而这是很多酒店还没有意识到的。 ModiHost公司白皮书指出，“酒店管理是个复杂而精妙的行业，同时也是效率极其低下的行业之一。从业者需要运营多套系统、整合不同的预订系统，并通过电子邮件、传真等多种方式处理预订需求。这一切，都让酒店管理的效率低到无可救药。”即使大家没有切身从业经历，应该也能从平时的酒店入住流程中感受到这种低效。而令人惊讶的是，普通酒店在为客人带来价值感受方面几乎可以说是什么都没做对。而恰恰是这些不用花什么钱的小心思，最终会在住宿体验上形成巨大差别。 ModiHost的目标，在于“创建一种先进AI，旨在最大程度提高酒店收入、提升入住率并改善宾客满意度”。从小型汽车旅馆到精品酒店，再到大型连锁酒店，整...

2020-07-14

598

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。