深入理解Spark：核心思想与源码分析. 1.1　运行环境准备-低调大师

深入理解Spark：核心思想与源码分析. 1.1　运行环境准备

2017-05-01 611

1.1　运行环境准备

考虑到大部分公司的开发和生成环境都采用Linux操作系统，所以笔者选用了64位的Linux。在正式安装Spark之前，先要找台好机器。为什么？因为笔者在安装、编译、调试的过程中发现Spark非常耗费内存，如果机器配置太低，恐怕会跑不起来。Spark的开发语言是Scala，而Scala需要运行在JVM之上，因而搭建Spark的运行环境应该包括JDK和Scala。

1.1.1　安装JDK

使用命令getconf LONG_BIT查看Linux机器是32位还是64位，然后下载相应版本的JDK并安装。

下载地址：

http://www.oracle.com/technetwork/java/javase/downloads/index.html

配置环境：

cd ~

vim .bash_profile

添加如下配置：

export J

微信关注我们

原文链接：https://yq.aliyun.com/articles/82126

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《深入理解Elasticsearch（原书第2版）》一1.3　在线书店示例

本节书摘来自华章出版社《深入理解Elasticsearch（原书第2版）》一书中的第1章，第1.3节，作者[美]拉斐尔·酷奇（Rafal Ku）　马雷克·罗戈任斯基（Marek Rogoziski），更多章节内容可以访问云栖社区“华章计算机”公众号查看 1.3　在线书店示例本书可作为《Elasticsearch server, Second Edition》一书的延续。因此，我们在这里也沿用在那本书中的案例。总的来说，假设自己正在实现和运作一个在线书店。首先需要一个library索引，它的映射定义如下：这段映射代码位于随书提供的library.json文件。我们将要使用的数据也可以在随书提供的books.json文件中找到。这个文件中的文档示例如下：　读者可以从自己在http://www.packtpub.com 的个人账户中下载所

2017-05-02

615

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.9节，作者：【美】Srinath Perera , Thilina Gunarathne 译者：杨卓荦责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.9 使用HDFS的C API（libhdfs） Hadoop MapReduce实战手册libhdfs是一个原生共享库，提供了一套C API，允许非Java程序与HDFS进行交互。libhdfs使用JNI通过Java与HDFS进行交互。准备工作目前的Hadoop发行版中包含了为32位和64位Linux操作系统预编译的libhdfs库。如果你的操作系统与预编译库不兼容，则可能需要下载Hadoop的标准发行版并从源代码编译libhdfs库。有关编译libhdfs库的信息请参见2.10节。操作步骤下列步骤显示了如何在HDFS环境下使用HDFS的C API执行操作。下面的示例程序会在HDFS中创建一个新文件，向新建文件中写入一些文本信息，并从HDFS读回该文件。用HDFS集群中NameNode的相关值替换NAMENODE_HO...

2017-05-02

518

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。