搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8441篇文章

Hadoop 及Spark 分布式HA运行环境搭建

本文旨在站在研发的角度上通过手动实践搭建运行环境，文中不拖泥带水过多讲述基础知识，结合Hadoop和Spark最新版本，帮助大家跟着步骤一步步实践环境搭建。 1.

2023-02-21

大数据开发，Hadoop Spark太重？你试试esProc SPL

Hadoop/Spark就是其中重要的软件技术，由于开源免费而广受欢迎。

2022-08-04

Hadoop 官方WordCount案例带你手把手的解析

; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text

2021-07-09

Hadoop框架：MapReduce基本原理和入门案例

本文源码：GitHub·点这里 || GitEE·点这里一、MapReduce概述 1、基本概念 Hadoop核心组件之一：分布式计算的方案MapReduce，是一种编程模型，用于大规模数据集的并行运算

2020-11-22

Apache Kudu 1.12.0 发布，Hadoop 生态数据存储系统

它基于Apache Hadoop 生态系设计，并支持与 Apache 软件基金会其它数据分析项目集成。

2020-05-25

Apache Kudu 1.11.0 发布，Hadoop 生态数据存储系统

它基于Apache Hadoop 生态系设计，并支持与 Apache 软件基金会其它数据分析项目集成。此版本带来的新特性包括： Kudu 现在支持维护平板电脑服务器。

2019-11-09

安装hadoop伪分布式模式(Single Node Cluster)

目的本文档介绍如何去安装单节点hadoop集群，以便你可以的了解和使用hadoop的HDFS和MapReduce.

2019-10-19

【译】Hadoop发生了什么？我们该如何做？

原文：https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/ Apache

2019-09-15

Hadoop localhost: frankxulei@localhost: Permission denied (publickey,p...

Hadoop启动HDFS进程的时候报错，提示权限不够，具体信息如图所示：localhost: frankxulei@localhost: Permission denied (publickey,password

2019-03-28

edits log 默认是 64MB，当写满的时候或者到一定周期的时候，Namanode就会进行 CheckPoint。Checkpoint是一个内部事件，这个事件激活以后会触发数据库写进程(DBWR)将数据缓冲(DATABUFFER CACHE)中的脏数据块写出到数据文件中。这里仅仅是以一份副本来描述，实际上默认是切片后每一个切片的数据块都有三份副本，保存在不同的Datanode中，假设有多个不同的机架，每个机架有多台主机，意味着有多个机架上面的Datanode，每一台主机作为一个Datanode，数据块的副本保存顺序是： 1、先在本机架上面找寻最近的一台主机保存第一份副本； 2、然后到其他机架上面随机选择一台主机保存第二份副本； 3、最后再在本机架上面除第一份副本的主机外随机选择另一台主机保存第三份副本。若是Namenode宕机了，还能否恢复数据？重启集群之后还能提供服务么？可以恢复数据，通过FSimage恢复数据；Namenode宕机了提供不了查询数据和保存数据的功能，因此不能提供服务。可以使用多个Namenode副本，副本namenode与namenode的数据保持一致，这里是HA高可用机制，一个namenode宕机了，由另一个namenode顶替继续提供服务。

2019-01-05

搭建Hadoop处理环境，零基础学习大数据

由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍

2018-11-29

Hadoop时代的大数据技术思考：数据即服务

Hadoop 的神话正在破灭 IBM leads BigInsights for Hadoop out behind barn.

2018-11-28

自定义hadoop map/reduce输入文件切割InputFormat

hadoop会对原始输入文件进行文件切割，然后把每个split传入mapper程序中进行处理，FileInputFormat是所有以文件作为数据源的InputFormat实现的基类，FileInputFormat

2018-10-17

hadoop，spark，Zookeeper，，，这些名字都是怎么来的呢？

Apache 首先我们要明白，Apache 是一个 http 服务器，而我们熟悉的另一种说法"Apache Hadoop"中的 Apache 则指的是 Apache 软件基金会。"

2018-10-15

【转】在E-MapReduce中使用 ES-Hadoop

ES-Hadoop 是 Elasticsearch(ES) 推出的专门用于对接 Hadoop 生态的工具，使得用户可以使用 Mapreduce(MR)、Spark、Hive 等工具处理 ES 上的数据（

2018-10-15

零基础怎么学习hadoop 掌握这些不要慌

于是在IT领域掀起了一股学习hadoo的浪潮······ 零基础学习hadoop开发是很多新手关心的问题，当然零基础并不是说没有IT方面的知识储备，而是指没有大数据hadoop方面的基础。

2018-08-28

Hadoop HDFS分布式文件系统Docker版

注意hadoop的环境变量基石/opt/hadoop-2.6.5/bin下。编译镜像，其中wsn/ubuntu_ssh_java_hadoop是镜像的名字，其中.代表当前目录。

2018-07-08

云上是时候丢掉Hadoop混合部署概念了

Hadoop体系里面，有个非常让其拥趸津津乐道的概念，混合部署。其基本含义就是将多个应用和组件部署在一个集群，共享一套资源，以获取资源的高效利用。

2018-07-01

常见的七种Hadoop和Spark项目案例

如果你的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。

2018-06-26

10小时大数据入门(二)-初识Hadoop

官网首页

2018-06-14

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

精选列表

Hadoop 及Spark 分布式HA运行环境搭建

大数据开发，Hadoop Spark太重？你试试esProc SPL

Hadoop 官方WordCount案例带你手把手的解析

Hadoop框架：MapReduce基本原理和入门案例

Apache Kudu 1.12.0 发布，Hadoop 生态数据存储系统

Apache Kudu 1.11.0 发布，Hadoop 生态数据存储系统

安装hadoop伪分布式模式(Single Node Cluster)

【译】Hadoop发生了什么？我们该如何做？

Hadoop localhost: frankxulei@localhost: Permission denied (publickey,p...

Hadoop文件系统元数据管理机制

搭建Hadoop处理环境，零基础学习大数据

Hadoop时代的大数据技术思考：数据即服务

自定义hadoop map/reduce输入文件切割InputFormat

hadoop，spark，Zookeeper，，，这些名字都是怎么来的呢？

【转】在E-MapReduce中使用 ES-Hadoop

零基础怎么学习hadoop 掌握这些不要慌

Hadoop HDFS分布式文件系统Docker版

云上是时候丢掉Hadoop混合部署概念了

常见的七种Hadoop和Spark项目案例

10小时大数据入门(二)-初识Hadoop

资源下载

腾讯云软件源

Nacos

Rocky Linux

Sublime Text

欢迎您来访！

精选列表

Hadoop 及Spark 分布式HA运行环境搭建

大数据开发，Hadoop Spark太重？你试试esProc SPL

Hadoop 官方WordCount案例带你手把手的解析

Hadoop框架：MapReduce基本原理和入门案例

Apache Kudu 1.12.0 发布，Hadoop 生态数据存储系统

Apache Kudu 1.11.0 发布，Hadoop 生态数据存储系统

安装hadoop伪分布式模式(Single Node Cluster)

【译】Hadoop发生了什么？我们该如何做？

Hadoop localhost: frankxulei@localhost: Permission denied (publickey,p...

Hadoop文件系统元数据管理机制

搭建Hadoop处理环境，零基础学习大数据

Hadoop时代的大数据技术思考：数据即服务

自定义hadoop map/reduce输入文件切割InputFormat

hadoop，spark，Zookeeper，，， 这些名字都是怎么来的呢？

【转】在E-MapReduce中使用 ES-Hadoop

零基础怎么学习hadoop 掌握这些不要慌

Hadoop HDFS分布式文件系统Docker版

云上是时候丢掉Hadoop混合部署概念了

常见的七种Hadoop和Spark项目案例

10小时大数据入门(二)-初识Hadoop

资源下载

腾讯云软件源

Nacos

Rocky Linux

Sublime Text

欢迎您来访！

hadoop，spark，Zookeeper，，，这些名字都是怎么来的呢？