数据库大会:大数据来了机遇与挑战共存-低调大师

数据库大会:大数据来了机遇与挑战共存

2017-08-31 539

本文讲的是 数据库大会:大数据来了机遇与挑战共存, 2012年4月13日，由IT168(ITPUB、IXPUB、ChinaUnix)主办的2012中国数据库技术大会(DTCC)在北京隆重召开。大会第二天，北京人大金仓信息技术股份有限公司首席科学家王珊教授发表了主题为“Big Data时代数据库的机遇、挑战与应变”的精彩演讲。

　　大数据时代的到来，数据带来了爆炸式的增长,数据设备使真实世界能够被数字化处理，数据由量的积累而产生了分析处理价值。

　　王珊表示，大数据的来源主要来自互联网公司Facebook、大型企业、电信、金融等行业的简单数据类型和结构化数据。现在Facebook拥有强大的数据仓库。互联网和电子商务的发展使数据库技术面临着海量数据处理的挑战，需要高度的可扩展和高度的可伸缩。数据的处理由事务处理走向了分析处理。传感器网络、物联网上的流数据和不确定性数据成为了数据处理的来源，随着硬件技术的发展，数据处理平台由单处理器平台走向了多核、大内存、集群、云计算平台的迁移。

▲

　　谈及大数据时，王珊指出，由麦肯锡研究提供的报告指出了当前大数据的特点，简称为4V(多样、快变、巨量、价值)如传感数据、交通数据更新频度高，数据价值同时间相关、数据由结构化、半结构化、还有非结构化数据比如文本、视频、点击流、和日志等。

　　SQL和NoSQL技术的思考

　　SQL技术采用了统一的数据模型、强一致性等特点，尤其在核心的事务处理领域不能被取代，它为用户提供了简单性、以及兼容性的最佳组合，提供了一个通用共享平台。对只读的分析处理的扩展性需要进一步扩展。

　　Web系统的NoSQL技术主要面向非结构化数据，使用到了Key-Value处理，MapReduce处理，具有高度的可扩展和可伸缩性。

　　数据库与MapReduce之间借鉴的融合主要分为三种类型的解决方案，包括以GreenPlum 和AsterData为代表的并行数据库主导型、Hive 和Pig Latin 为代表的MapReduce主导型、HadoopDB和IBM解决方案为代表的并行数据库主导型和MapReduce集成性。

　　谈及DB和MapReduce的关系时，王珊强调，DB和MapReduce不是替代关系，DB不能固步自封，无视MapReduce的技术，DB也不能邯郸学步、丢掉深厚的积累而去实现一个基于Hadoop的DB，从DB中挖掘适合MapReduce计算模型的子系统，从核心算法层面将适合MapReduce的任务。

作者：皮丽华

来源： IT168

原文标题：数据库大会:大数据来了机遇与挑战共存

微信关注我们

原文链接：https://yq.aliyun.com/articles/221545

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

ParallelX助力在GPU上运行Hadoop任务

文章讲的是 ParallelX助力在GPU上运行Hadoop任务，在面对大规模计算密集型算法时，MapReduce范式的表现并不总是很理想。为了解决其瓶颈，一支小型创业团队构建了名为ParallelX的产品——它将通过利用GPU的运算能力，为Hadoop任务带来显著的提升。 ParallelX的联合创始人Tony Diepenbrock表示，这是一个“GPU编译器，它能够把用户使用Java编写的代码转化为OpenCL，并在亚马逊AWS GPU云上运行”。它的最终产品是一项与亚马逊Elastic MapReduce类似的服务，只不过不同之处在于它将利用EC2 GPU实例类型。毫无疑问，亚马逊并不是唯一一家提供GPU服务器的云服务提供商，其他诸如IBM/Softlayer或Nimbix等公司也提供使用NVidia GPU的服务器。然而，当被问起ParallelX是否将会支持亚马逊之外的其他不同云服务提供商时，Tony的答复是“暂时还没有，不过我们将拥有一套SDK，供使用内部Hadoop集群的客户使用。大部分GPU云服务提供商在HPC云中提供GPU，但我们希望能够以比较低廉的价格使用云服...

2017-09-01

549

ZD至顶网服务器频道 03月23日新闻消息：在3月19日举办的ChinaHadoopSummit（中国Hadoop技术峰会）上，中国Hadoop大数据厂商红象云腾与OpenPOWER基金会共同发布红象云腾的新一代大数据产品,帮助企业高速处理PB规模数据。此次发布的两款新产品中，“红象数据高铁-CRH4”的RedHadoopEnterpriseCRH4ForPOWER版软件，是全球第一个支持OpenPOWER服务器的Hadoop商业版本。同时发布的RedHadoopEnterpriseCRH4ForPOWEREC版软件,支持HadoopHDFSErasureCodeCAPIFPGA加速方案，也是全球第一个支持Erasurecode（可擦除码）在FPGA/CAPI上实现的商业发行版Hadoop方案。用“高铁”比喻Hadoop，源自二者动力原理的相似：高铁的效率比传统火车快，是因为每节车厢都有动力，而不仅仅是火车头有动力。基于分布式技术的Hadoop的原理即把数据分块，通过并行运算来提高数据检索、查询、分析等操作的效率，每台机器都有自己的动力（计算力）与存储，从而提供充沛的动力和功能模...

2017-09-01

526

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。