《Hadoop实战第2版》——2.2节在Mac OSX上安装与配置Hadoop-低调大师

《Hadoop实战第2版》——2.2节在Mac OSX上安装与配置Hadoop

2017-07-31 557

2.2　在Mac OSX上安装与配置Hadoop

由于现在越来越多的人使用Mac Book，故笔者在本章中增加了在Mac OS X上安装与配置Hadoop的内容，供使用Mac Book的读者参考。

2.2.1　安装Homebrew
Mac OS X上的Homebrew是类似于Ubuntu下apt的一种软件包管理器，利用它可以自动下载和安装软件包，安装Homebrew之后，就可以使用Homebrew自动下载安装Hadoop。安装Homebrew的步骤如下：
1）从Apple官方下载并安装内置GCC编译器—Xcode（现在版本为4.2）。安装Xcode主要是因为一些软件包的安装依赖于本地环境，需要在本地编译源码。Xcode的下载地址为https://developer.apple.com/xcode/。
2）使用命令行安装Homebrew，输入

微信关注我们

原文链接：https://yq.aliyun.com/articles/173958

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

巧用MapReduce+HDFS，海量数据去重的五大策略

随着存储数据信息量的飞速增长，越来越多的人开始关注存储数据的缩减方法。数据压缩、单实例存储和重复数据删除等都是经常使用的存储数据缩减技术。重复数据删除往往是指消除冗余子文件。不同于压缩，重复数据删除对于数据本身并没有改变，只是消除了相同的数据占用的存储容量。重复数据删除在减少存储、降低网络带宽方面有着显著的优势，并对扩展性有所帮助。举个简单的例子：在专门为电信运营商定制的呼叫详单去重应用程序中，我们就可以看到删除重复数据的影子。同样的，对于包含相同数据包的通信网络，我们可以使用这种技术来进行优化。在存储架构中，删除重复数据的一些常用的方法包括：哈希、二进制比较和增量差分。在HadoopSphere这篇文章中，将专注于如何利用MapReduce和HDFS来消除重复的数据。(下面列出的方法中包括一些学者的实验方法，因此把术语定义为策略比较合适)。策略1：只使用HDFS和MapReduce Owen O’Malley在一个论坛的帖子中建议使用以下方法：让你的历史数据按照MD5值进行排序。运行一个MapReduce的作业，将你的新数据按照MD5进行排序。需要注意的是：你要做所有数据...

2017-08-01

535

在这篇文章中，我们Spark的其它机器学习API，名为Spark ML，如果要用数据流水线来开发大数据应用程序的话，这个是推荐的解决方案。关键点：了解机器学习数据流水线有关内容。怎么用Apache Spark机器学习包来实现机器学习数据流水线。数据价值链处理的步骤。 Spark机器学习流水线模块和API。文字分类和广告检测用例。 Spark ML(spark.ml)包提供了构建在DataFrame之上的机器学习API，它已经成了Spark SQL库的核心部分。这个包可以用于开发和管理机器学习流水线。它也可以提供特征抽取器、转换器、选择器，并支持分类、汇聚和分簇等机器学习技术。这些全都对开发机器学习解决方案至关重要。在这里我们看看如何使用Apache Spark来做探索式数据分析(Exploratory Data Analysis)、开发机器学习流水线，并使用Spark ML包中提供的API和算法。因为支持构建机器学习数据流水线，Apache Spark框架现在已经成了一个非常不错的选择，可以用于构建一个全面的用例，包括ETL、指量分析、实时流分析、机器学习、图处理和可视化等...

2017-08-01

508

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。