《Hadoop大数据分析与挖掘实战》——第2章Hadoop基础-低调大师

《Hadoop大数据分析与挖掘实战》——第2章Hadoop基础

2017-05-01 517

本节书摘来自华章社区《Hadoop大数据分析与挖掘实战》一书中的第2章Hadoop基础，作者张良均　樊哲　赵云龙　李成华　，更多章节内容可以访问云栖社区“华章社区”公众号查看

第2章　Hadoop基础
大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘，分布式文件系统，分布式数据库，云计算平台，互联网和可扩展的存储系统。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的主要特点为数据量大（Volume），数据类别复杂（Variety），数据处理速度快（Velocity）和数据真实性高（

微信关注我们

原文链接：https://yq.aliyun.com/articles/108743

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Spark Cookbook 中文版》一1.3　通过Maven构建Spark源码

本节书摘来异步社区《Spark Cookbook 中文版》一书中的第1章，第1.3节，作者：【印度】Rishi Yadav（亚达夫）译者：顾星竹 , 刘见康责编：胡俊英，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.3　通过Maven构建Spark源码在大多数情况下使用二进制文件安装Spark已经足够了。对于一些高级的需求（并不局限于下列需求），通过源码编译是个更好的选择。需要使用特定的Hadoop版本进行编译。集成Hive。集成YARN。 1.3.1　准备工作开始本篇教程之前需要以下必备条件。 Java 1.6或更新版本。 Maven 3.x。 1.3.2　具体步骤使用Maven构建Spark源码的步骤如下。 1．增大堆的MaxPermSize参数。 $ echo "export _JAVA_OPTIONS=\"-XX:MaxPermSize=1G\"" >> /home/ hduser/.bashrc 2．打开一个新的终端窗口并通过GitHub下载源码。 $ wget https://github.com/apache/spark/arc...

2017-05-02

544

本节书摘来自华章社区《Hadoop大数据分析与挖掘实战》一书中的第2章，第2.1节概述，作者张良均　樊哲　赵云龙　李成华　，更多章节内容可以访问云栖社区“华章社区”公众号查看 2.1　概述2.1.1　Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。Hadoop以分布式文件系统HDFS（Hadoop Distributed File System）和MapReduce（Google MapReduce的开源实现）为核心，为用户提供了系统底层细节透明的分布式基础架构。分布式文件系统HDFS的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉的硬件上，形成分布式文件系统；MapReduce分布式编程模型允许用户在不了解分布式系统底层细节的情况下开发并行应用程序。所以用户可以利用Hadoop轻松地组织

2017-05-02

535

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。