大数据开篇-低调大师

大数据开篇

2017-11-13 526

。大数据时代来临的因素：
1.1信息浪潮
    1.第一次 1980 PC机解决问题：信息处理   代表企业：Intel AMD IBM
    2.第二次   1995 互联网   解决问题：信息传输代表企业：雅虎，谷歌 BAT
    3.第三次   2010 物联网、云计算、大数据解决问题：信息爆炸代表企业亚马逊、谷歌、Cloudera、阿里云等
1.2信科技为大数据时代提供技术支撑
    1.存储设备容量增加（DVD光盘为例。将来可以 1DVD容量 10^6GB
    2.CPU处理能力提升
    3.网络带宽增加
1.3数据产生方式的变革促成大数据时代的来临(数据产生阶段)
    1.运营式系统阶段
    2.用户原创内容阶段
    3.感知系统阶段
1.4大数据发展历程
    1.萌芽期 20世纪90年代 -21世纪初    数据库技术成熟和数据挖掘理论
    2.成熟期 21世纪前10年 web2.0应用发展，非结构化数据大量产生，Hadoop平台MapReduce技术
    3.大规模应用 2010年后数据驱动决策，信息社会智能化程度
2 大数据的概念
    4V Volume 数据量大 Variety 数据类型繁多 Velocity 处理速度快 Value 价值密度低
    2.1 数据量大
    1ZB=1024EB 1024PB 1024TB 1024GB 1024MB 1024KB 1024Byte 8bit
    大数据以每年50%的速度在增长，也就是说每两年就增加一倍，这被称为“大数据摩尔定律”
    2.2 数据类型繁多
        10%存储在关系型数据库中，90%存储在非关系型数据库中
    2.3 处理速度快
    2.4 价值密度低
3 大数据的影响
    人类科学研究经历四种模式：
        1.实验科学
        2.理论科学
        3.计算科学
        4.数据密集型科学
    思维的转变：
     1.全面而非抽样
     2.效率而非精确
     3.相关而非因果
大数据计算模式
    1.批处理计算
    2.流计算
    3.图计算
    4.查询分析计算
大数据与云计算和物联网
    大数据：    4V Volume 数据量大 Variety 数据类型繁多 Velocity 处理速度快 Value 价值密度低
    云计算：通过网络提供课伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT
        资源。
    云计算包括3种典型的服务模式。LaaS PaaS SaaS 基础设施即服务平台即服务软件即服务
    1.云计算关键技术：
        虚拟化、分布式存储、分布式计算、多租户等。
    2.云计算数据中心（地质稳定，凉爽舒适）
        计算中心电力利用：（55%电力用于制冷 45%服务器（其中70%服务器风扇，30%CPU（其中10%用于计算）））
    物联网：物物相连的物联网，是互联网的延伸，利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过
        新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。
        技术角度分四个层面：感知层、网络层、处理层和应用层。
区别：大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务与生产和生活。
    云计算本质旨在整合和优化各种IT资源，通过网络以服务的方式廉价地提供给用户
    物联网发展目标物物相联，应用创新时物联网的核心。
联系：云计算为大数据提供了技术基础。云计算为物联网提供海量数据存储能力。
      大数据为云计算提供用武之地。大数据为物联网数据分析提供支撑。
      物联网为云计算技术提供了广阔的应用空间。物联网是大数据的重要来源。

本文转自 swallow_zys 51CTO博客，原文链接：http://blog.51cto.com/12042068/1928031，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/563044

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

五款最佳Linux下载管理器推荐

新的Linux用户从Windows转换过来时面临的困难之一就是，找到一款优秀的下载管理器。如果你是或曾经是Windows用户，可能熟悉互联网下载管理器(IDM)、下载加速器Plus(DAP)之类的下载管理器。 Linux用户没有什么好担心的，因为有许多另外的Linux版下载管理器。没错，这些都是开源工具，这意味着你可以免费下载。本文介绍了网上几款流行的免费Linux下载管理器。 1. uGet 想针对基于fedora的系统安装uGet： sudo dnf install uget 想安装到基于Debian/Ubuntu的系统上： sudo add-apt-repository ppa:t-tujikawa/ppa sudo apt-get update sudo apt-get install uget 运行uGet uGet是一款功能很丰富的下载管理器，拥有多线程下载、暂停/恢复和队列等功能。安装完毕后，想开始运行uGet，打开应用程序菜单，往搜索框里面输入“uget”。 uget linux下载管理器不妨从URL下载一个样本音乐文件：点击：文件->新下载，或者点击主窗口...

2017-11-14

568

标签 PostgreSQL , HTAP , OLTP , OLAP , 场景与性能测试背景 PostgreSQL是一个历史悠久的数据库，历史可以追溯到1973年，最早由2014计算机图灵奖得主，关系数据库的鼻祖Michael_Stonebraker操刀设计，PostgreSQL具备与Oracle类似的功能、性能、架构以及稳定性。 PostgreSQL社区的贡献者众多，来自全球各个行业，历经数年，PostgreSQL 每年发布一个大版本，以持久的生命力和稳定性著称。 2017年10月，PostgreSQL 推出10 版本，携带诸多惊天特性，目标是胜任OLAP和OLTP的HTAP混合场景的需求：《最受开发者欢迎的HTAP数据库PostgreSQL 10特性》 1、多核并行增强 2、fdw 聚合下推 3、逻辑订阅 4、分区 5、金融级多副本 6、jso

2017-11-14

594

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。