《大数据管理概论》一1.4　大数据的处理模式-低调大师

《大数据管理概论》一1.4　大数据的处理模式

2017-05-01 650

本节书摘来自华章出版社《大数据管理概论》一书中的第1章，第1.4节，作者孟小峰，更多章节内容可以访问云栖社区“华章计算机”公众号查看

1.4　大数据的处理模式

无论是工业界还是学术界，都已经广泛使用高级集群编程模型来处理日益增长的数据，如MapReduce。这些系统将分布式编程简化为自动提供位置感知（locality-aware）调度、容错以及负载均衡，使得大量用户能够在商用集群上分析庞大的数据集。
大多数现有的集群计算系统都是基于非循环数据流模型（acyclic data f?low model），从稳定的物理存储（如分布式文件系统）中加载记录，一组确定性操作构成一个有向无环图（Directed Acyclic Graph，DAG），记录被传入这个DAG，然后写回稳定存储。通过这个DAG数据流图，运行时自动完成调度工作及故障恢复。
尽

微信关注我们

原文链接：https://yq.aliyun.com/articles/89860

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Hadoop实战手册》一1.2 使用Hadoop shell命令导入和导出数据到HDFS

本节书摘来异步社区《Hadoop实战手册》一书中的第1章，第1.2节，作者：【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者：傅杰 , 赵磊 , 卢学裕责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.2 使用Hadoop shell命令导入和导出数据到HDFS HDFS提供了许多shell命令来实现访问文件系统的功能，这些命令都是构建在HDFS FileSystem API之上的。Hadoop自带的shell脚本是通过命令行来执行所有操作的。这个脚本的名称叫做hadoop，通常安装在$HADOOP_BIN目录下，其中$HADOOP_BIN是Hadoopbin文件完整的安装目录，同时有必要将$HADOOP_BIN配置到$PATH环境变量中，这样所有的命令都可以通过hadoop fs -command这样的形式来执行。如果需要获取文件系统的所有命令，可以运行hadoop命令传递不带参数的选项fs。 hadoop fs 这些按照功能进行命名的命令的名称与Unix shell命令非常相似。使用help选项可...

2017-05-02

559

Apache Spark机器学习3.3　特征准备

3.3　特征准备在前面几节，我们选择了模型并且准备了监督学习所需的因变量。本节，我们需要准备自变量，他们是影响因变量因素（销售团队的成功）的所有特征。对于这项重要的工作，我们需要将400多个特征约减为合理的一组特征，以适应最终的建模需要。为此，我们使用PCA方法，利用专业知识，然后执行特征选择任务。 3.3.1　PCA PCA是非常成熟且经常使用的特征约减方法，经常用来寻找一个小的变量集合以表示最显著的变化。严格地讲，PCA的目标是寻找一个低维度子空间来尽可能获取数据集的变化情况。如果你使用MLlib，以下网址有几个示例代码，用户可以在Spark上使用、修改后运行PCA：http://spark.apache.org/docs/latest/mllib-dimensionality-reduction.html#principal-c

2017-05-02

644

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。