《Hadoop与大数据挖掘》——2.2　Hadoop配置及IDE配置-低调大师

《Hadoop与大数据挖掘》——2.2　Hadoop配置及IDE配置

2017-07-02 551

本节书摘来自华章计算机《Hadoop与大数据挖掘》一书中的第2章，第2.2节，作者张良均樊哲位文超刘名军许国杰周龙焦正升，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2　Hadoop配置及IDE配置

2.2.1　准备工作

上面的虚拟机参数配置只是参考，可以根据自身机器的实际情况进行调整。

在配置好Hadoop集群所需机器后，先确认下集群拓扑，本次部署采用的集群拓扑如图2-16所示。

如文中未做说明，则所有操作都是在root用户下执行。但是，在生产环节，一般不会使用root用户，这点需要注意。

2.2.2　环境配置

1.安装JDK

（1）文件下载

到www.oracle.com网站上下载自己系统对应JDK版本。文件名如jdk-7u-linux-x64.tar.gz，注意下载64位的版本。

（2）解压文件

把下载下来的文件上传

微信关注我们

原文链接：https://yq.aliyun.com/articles/119144

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop生态系统在壮大：十大炫酷大数据项目

在开发人员开发Hadoop以克服大数据带来的挑战之后的10年间，这些技术的生态系统在不断发展壮大。Apache软件基金会下面有众多的开源大数据技术项目。本文介绍一些重要项目，并顺便了解几个新兴项目。管理和分析大数据已经变成了重大挑战，数量急剧增加的信息从社交媒体、连接到物联网中“物件”的传感器、结构化数据、非结构化数据以及可以收集的其他一切数据收集而来。为了应对这项任务，开发人员已开发了一系列新的开源技术。旗舰软件Apache Hadoop是Apache软件基金会的一个项目，它在上个月迎来了十周年。这十年已发生了很大的变化。如今，另外许多技术也是大数据和Hadoop生态系统的一员，它们大多数都归属Apache软件基金会。开发人员和企业组织在使用诸多项目，开发大数据技术，并将它们捐献给开源社区，以便进一步发展和采用，其中就包括Spark、Hive、HBase和Storm。在网飞和领英等一些企业，其中一些技术已用于生产环境。它们让企业组织能够实时处理海量数据，并转换那些数据，为最终客户改善服务。这些大数据技术常常脱胎于试图改善大数据技术的工作方式、加快处理速度的企业组织。它们代表...

2017-07-03

446

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第2章，第2.1节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。第2章配置Storm集群在本章中你将深入理解Storm的技术栈，它的软件依赖，以及搭建和部署Storm集群的过程。我们首先会在伪分布式模式下安装Storm，所有的组件都安装在同一台机器上，而不是在多台机器上。一旦你了解了安装和配置Storm的基本步骤，我们就可以通过Puppet这个工具进行自动化的安装，这样的话部署多节点的集群可以节省大量的时间和精力。本章包括以下内容：组成Storm集群的不同组件和服务 Storm的技术栈在Linux上安装和配置Storm Storm的配置参数 Storm的命令行接口使用服务提供工具Puppet进

2017-07-03

676

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。