大数据数据分析架构探究
从范式角度来讲,维度建模是以2NF的方式来描述数据,实体关系建模是以3NF的方式进行数据描述,由于分布式数据架构的兴起,使得维度建模得到了技术支持。换句话讲,现在数据增长的速度,对于现在的数据技术架构不再是技术瓶颈。对于数据的存储运用完全用2NF的方式表达,甚至1NF都有可能。当然现在有一种趋势就是2NF到3NF转变的过程,这方面与Data Vault的设计初衷是一致的,试图在2NF和3NF寻找一个合适的数据整合方案。
从信息传播的角度来讲,1NF的方式传播信息是最有效的,但是也是最冗余的,但对于信息存储是一个挑战。现阶段来讲2NF成为现在互联网企业主要的存储方式,因为数据增长速度,数据关系的复杂度,与数据的计算能力与数据的存储方式相匹配。但当数据的增长速度和数据关系的复杂度这两个变量发生指数级变化的时候,2NF的方式的存储似乎就不太适合,3NF的数据存储方式必然是选择,甚至于更高范式。但范式越高,信息的专业程度越大。解释一下范式越高,信息越专业,比如:我们平常的生活对话大部分都是2NF的,只有大人与刚刚学会说话的小孩会1NF的,因为我们要做大量的解释。当我们去工作的时候,一般你是具有3NF的知识才能,才能与工作的其他人进行沟通,那一篇博士论文呢,那所处的范式那就更高啦。
现阶段数据的存储还是人与机器或者人与人之间的信息记录,用3NF或者BCNF能够解决。试问下当机器与机器之间交流将来是什么样的呢,还是3NF的吗?是3NF还好,我们还可以存储与整合加以利用和分析,不是3NF的呢,个人觉得很可能不是,因为机器的设计工作超过3NF,更何况机器与机器交流信息呢。我们如何处理这些信息,然后加以有效利用和分析,值得去深究!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
mPaaS 核心组件:支付宝如何为移动端产品构建舆情分析体系?
0. 前言 移动舆情分析 MMA(Mobile Media Analysis)作为 mPaaS 对移动端产品覆盖上是一个有力的补充,在需求、发布、分析、运营等阶段都发挥着不可或缺的作用。 • 需求阶段,辅助市场调研、竞品分析、产品决策。 • 发布阶段,监控新版本用户反馈,第一时间了解用户的新版使用感受,收集需求;收集用户使用bug。 • 分析阶段,通过平台提供的指标趋势、事件分析功能,进行产品的监控和分析。 • 运营阶段,提供运营活动的传播效果和运营倾向监控。 结合 mPaaS 的其他组件,能够更好地完成产品开发。下图为移动舆情分析(MMA)与 mPaaS 平台提供的功能在产品开发生命周期中发挥的作用示意图: 本文将从以下三个方面帮助大家了解移动舆情分析(MMA): • MMA 是如何诞生的 • 现阶段
- 下一篇
小程序云应用入门实操系列课程第一讲 - 云应用的价值
摘要 云应用是面向小程序应用场景,为开发者提供的一键构建后端应用运行环境、后端服务部署、运维监控等能力的一站式小程序部署服务。云应用主要承担了运维和部分架构师的工作。云应用作为小程序布局中一部分,具体有哪些优势和劣势?本次课程主要围绕小程序开发特点,云应用使用场景,用户特征等内容分享了云应用为开发者带来的价值。 演讲嘉宾简介 白宦成 - Linux 中国开发组组长,阿里云MVP;CSDN专家,在 GitChat平台上开设了《一学就会的WordPress实战课》达人课;自由职业者,曾就职于网易杭州研究院。 个人小程序作品: 运维密码小程序:2017 年 2 月上线配色助手小程序:2018 年 4 月上线Linux 小程序:2019 年 2 月上线。 个人授课: 极客学院《微信小程序入门实战(仿V2EX)》极客学院 《微信小程序进阶实战之分答应用开
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装