2013年大数据全球技术峰会观后感-低调大师

2013年大数据全球技术峰会观后感

2017-11-22 592

这次我有幸参加了51CTO举办的2013年大数据峰会，这次大会的主题是大数据的运维（第一天）以及大数据的分析（第二天）。

大数据到底是啥意思呢？从字眼上就是很多很大量的数据，可以叫做海量数据。

当数据很小时，你可以用一台机器顶住数据访问压力，再大时你可以加内存换SSD硬盘，或者采购性能很强劲的小型机，通过硬件去解决。

从架构层出发，于是就发展到了读写分离，同时有多台Slave备机提供读取业务，这样就降低了数据库的负载。

随着数据的增长，发现依靠读写分离也解决不了高负荷高并发的访问，Slave备机延时很大，于是又发展到了对表的水平切分，依靠表的主键取模，把数据平均分散到不同的小表，再分布到各台机器上，可以看做是迁移数据，我之前写过《一篇用户信息表水平切分》的博文，有兴趣的可以去访问： http://hcymysql.blog.51cto.com/5223301/1179880

但这个有一个弊端，就是开发需要更改他们的代码，增加路由访问策略，要知道每张小表是分布到哪台机器上，对开发人员并不是透明的，而对于DBA来说，每次都需要通过手工去拆分，比较繁琐。

下面就进入了会议的正题，首先是新浪微博，他们的解决方案是通过数据库前端CACHE层，用redis做缓存，采用nosql型数据库（非传统关系型数据库），降低数据库的负载。他们没有采用memcache，是考虑到数据可以持久化的保存在磁盘上，解决了服务重启后数据不丢失的问题，且存储的数据类型较多。

下面是淘宝，他们的开源软件Oceanbase海量数据平台（数据库中间件），其原理也是通过对主键的取模，把一张大表拆分成N张小表并存储到各台服务器上，前端应用访问海量平台，经过海量平台处理，把请求发送到后端MySQL数据库上，MySQL完成数据查询，再经过中间件，将结果送回客户端。这样对开发来说是透明的，代码层加上API接口，开发不需要知道每张小表具体放在哪台服务器上，DBA也减少了繁琐的水平拆表的工作。

目前应用在收藏夹、直通车报表、天猫评价等OLTP和OLAP在线业务，线上数据量已经超过一千亿条。

更多介绍请参考官网： http://alibaba.github.io/oceanbase/

第二天，主要介绍了数据分析与挖掘，当数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。Hadoop基于MapReduce在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，目前已成为当前互联网企业主流的大数据分析平台。

目前淘宝，百度，暴风影音，360安全卫士都采用hadoop做海量数据分析。

关键词：MySQL、nosql、hadoop已成为当今互联网行业最流行、最前端的技术。

本文转自hcymysql51CTO博客，原文链接：http://blog.51cto.com/hcymysql/1188630 ，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/414207

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

NVIDIA GPU—Tesla和GeForce的比较

NVIDIA的GPU产品主要有GeForce、Tesla和Quadro三大系列，虽然从硬件角度来看它们都采用同样的架构设计，也都支持用作通用计算(GPGPU)，但因为它们分别面向的目标市场以及产品定位的不同，这三个系列的GPU在软硬件的设计和支持上都存在许多差异。其中Quadro的定位是专业用途显卡而Tesla的定位是专业的GPGPU，单价相对较高，也都很少会被用作其他用途。但面向消费者的GeForce显卡却因为出货量大，价格较低的缘故经常被当作另外两个专业产品的替代品来使用。本文主要探讨Tesla和GeForce系列显卡在各方面的差异。生产厂商 Tesla系列产品全部由NVIDIA原厂设计和生产，产品品质和服务都更有保障。GeForce显卡则主要由第三方厂商生产，而且还区分为采用原厂设计的公版型号和厂商自行设计的非公版型号，其产品的稳定性可能也因不同厂商的设计和工艺水平存在差异。芯片及启用核心数量的差异虽然同一代的GPU产品都采用相同的核心架构，但不同型号的GPU采用的是不同等级的GPU核心，比如作为Tesla系列旗舰的P100采用的是GP100核心，而P40和P4则分别采用...

2017-11-23

666

1 前言经常在网上看到对象存储文章，但一直没有一篇文章能让我明白对象存储是什么。最近得到一个机会，老板希望我们告诉他什么是对象存储，为了给老板做5页PPT笔者参阅了大量的文献并整理成文（以下文章仅供当参阅，并非权威之作，如果你觉得有不妥之处，欢迎指正）。2 对象存储 2.1 Obeject-based Storage的概念（个人整理，并非权威）是一种新的储架构，对象存储有别于Block与File级别的存储，他以一个弹性的可自定义的数据对象为基本的存储单元，基于数据对象的唯一ID索引，并形成虚拟文件组织结构。结合群集技术将一群服务器的存储设备汇集成存储池，通过软件数据可自动在群集中自分布，存储容量可达到TB甚至EB以上的规模，对象存储同时具备高I/O、共享便利、高扩展性、高可靠性、高性能等特征。2.2 OSD的概念 OSD是Object-based Storage Device的简称，即面向对象存储技术设备的简称，指运行对象存储技术群集中的基本逻辑单元（通俗指运行对象存储群集技术软件的服务器）2.3 Object的概念 - Data指用户要存取的数据记录或称资料 - MetaData...

2017-11-23

546

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。