搜索[hadoop]结果-低调大师优秀个人博客

精选列表

搜索[hadoop]，共8437篇文章

Hadoop2.6.0的FileInputFormat的任务切分原理分析（即如何控制FileInputFormat的map任务数量）

现在我们不作任何性能优化（不增加任何配置参数），然后执行hadoop-mapreduce-examples子项目（有关此项目介绍，可以阅读《Hadoop2.6.0子项目hadoop-mapreduce-examples

2016-04-12

Hadoop2.7实战v1.0之动态删除DataNode(含NodeManager)节点(修改dfs.replication)

文件点击(此处)折叠或打开 [root@sht-sgmhadoopnn-01 hadoop]# vi /hadoop/hadoop-2.7.2/etc/hadoop/include_datanode

2016-03-07

基于Hadoop的云盘系统客户端技术难点之一上传和下载效率优化

基于Hadoop实现的云盘系统，受到Hadoop文件读写机制的影响，采用Hadoop提供的API进行HDFS文件系统访问，文件读取时默认是顺序、逐block读取；写入时是顺序写入。

2013-03-07

完全分布模式hadoop集群安装配置之一安装第一个节点

sudo reboot 1.2 建立hadoop用户和hadoop组重启系统后，登录abc用户 sudo addgroup hadoop sudo adduser --ingroup hadoop

2012-03-06

OSCS开源安全周报第8期：时隔百天 Apache Hadoop YARN 远程代码执行漏洞公开

本周安全态势综述 OSCS社区共收录安全漏洞29个，公开漏洞值得关注的是Apache Hadoop YARN 远程代码执行漏洞（CVE-2021-25642），Firefox 内存破坏漏洞（CVE-2022

2022-08-29

好程序员大数据分享Hadoop2.X的环境配置与运行官方案例

用户，以及赋予sudo权限1）创建Hadoop用户，以后的操作都是在hadoop用户下完成的useradd hadoop 创建hadoop用户passwd hadoop 为hadoop用户设置密码2）为

2019-05-09

基于Hadoop分布式集群搭建政企大数据计算存储服务平台_数道云科技

今天，小编就据目前互联网行业的发展，以及大数据Hadoop分布式集群等等来讲解一下，政企如何搭建大数据计算服务平台。

2019-04-10

【centos6.5 hadoop2.7 _64位一键安装脚本】有问题加我Q直接问

/hadoop 有人问为什么这么深# 2.1 work目录下local包含所有软件 hadoop安装大数据生态圈其他软件# 2.2 hadoop的数据安装在 /home/work/data ，此目录由于数量较大

2017-12-08

Hadoop HBase概念学习系列之HBase里的宽表设计概念（表设计）（二十七）

HBASE宽表应用很多比如BBS，可以用帖子的URL地址作为ROWKEY保存，而后面的每一个回复，作为单独的COLUMNS，回复越多，COLUMNS就越多，表就变宽了。 COLUMNS的qualifier名称设计很简单假设你的表FC="_0" qualifier={"_0:_00000001","_0:_00000002","_0:_00000003",.....,"_0:_0XXXXXXX"} 对于每个ROW的数据,qualifier也是按字典排序的，所以qualifier的左边需要补"0"。还有一种设计方法，假设BBS每一页显示100行 qualifier={"_0:_0000100","_0:_0000101","_0:_0000102"...."_0:_0000200","_0:_0000201"....,"_0:_0XXXXXXX"} 用页数编号加每一页的行数来定义qualifier 。 VALUE中放每一行的具体内容。网站性能指标采集 id表示服务器的编号，type表示监控的指标，时间表示监控的时间点。本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6160078.html，如需转载请自行联系原作者

2017-11-20

开发人员学Linux(14)：CentOS7安装配置大数据平台Hadoop2.9.0

： export HADOOP_HOME=/usr/local/hadoop-2.9.0 export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME

2017-11-17

Spark standalone模式的安装（spark-1.6.1-bin-hadoop2.6.tgz）（master、slave1和sla...

（8）Spark standalone模式的安装，其实，是可以不需安装hadoop的。

2017-11-15

Hadoop HBase概念学习系列之HBase里的高表设计概念（表设计）（二十八）

在不同场景，结合使用到底是高表还是宽表。高表有高表的好处，宽表有宽表的优势。起始行键是1001，结束行键是10010，则可查出如下图框出部分结果。当然，也可以根据其他的查询条件，来查询。本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6160077.html，如需转载请自行联系原作者

2017-11-13

《Spark与Hadoop大数据分析》——3.6 Spark 资源管理器：Standalone、YARN和Mesos

3.6 Spark 资源管理器：Standalone、YARN和Mesos 在本章其他部分（在 PySpark shell 和应用程序中），我们已经在 Spark 的 Standalone 资源管理器中执行过 Spark 应用程序。让我们尝试理解这些集群资源管理器相互之间有什么不同，以及它们该在什么情况下使用。 3.6.1 本地和集群模式在继续讲解集群资源管理器之前，让我们来了解集群模式与本地模式的区别。当跨集群执行代码时，了解变量和方法的范围和生命周期非常重要。让我们看一个使用 foreach 动作的例子：在本地模式下，前面的代码执行正常，因为计数器（counter）变量和 RDD 在相同的内存空间（单个 JVM）里。在集群模式下，计数器 counter 的值永远不会改变，并且始终保持为 0。在集群模式下，Spark 会计算出带有变

2017-09-01

大数据项目实践：基于hadoop+spark+mongodb+mysql+c#开发医院临床知识库系统

2.1 Hadoop Hadoop不是一个软件，而是一个分布式系统基础架构，是由Apache基金会主持开发的一个开源项目。

2017-08-01

《深入理解大数据：大数据处理与编程实践》一一2.1 Hadoop系统安装方法简介

2.1 Hadoop系统安装方法简介 Hadoop可以用三种不同的方式进行安装。第一种方式是单机方式，它允许在一台运行Linux或Windows下虚拟Linux的单机上安装运行Hadoop系统。

2017-07-04

《Spark与Hadoop大数据分析》一一第1章从宏观视角看大数据分析

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第1章，第1.1节,作者：文卡特·安卡姆（Venkat Ankam）更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2017-07-03

Cloudera将于4月底登陆纽交所，基于Hadoop的商业公司前景何在？

它是一个建立在开放源代码Hadoop项目之上的商业产品，hadoop的公司吉祥物是一只可爱的大象。在数据量越来越大的时代（业界常称为“大数据”），Hadoop把数据处理变得越来越方便。

2017-05-19

【干货】Apache Hadoop 2.8 完全分布式集群搭建超详细过程，实现NameNode HA、ResourceManager HA高...

从apache hadoop的官网上面下载最新的稳定版本 apache hadoop 2.8 切换到 ahadoop 用户，将hadoop 2.8放于 /home/ahadoop 目录中，并解压 su

2017-05-02

深入理解Spark：核心思想与源码分析. 3.5 Hadoop相关配置及Executor环境变量

3.5 Hadoop相关配置及Executor环境变量 3.5.1 Hadoop相关配置信息默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息的代码如下。

2017-05-02

《Hadoop海量数据处理：技术详解与项目实战（第2版）》一第2章环境准备

本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战（第2版）》一书中的第2章，第2.1节，作者：范东来责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。

2017-05-02

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

精选列表

Hadoop2.6.0的FileInputFormat的任务切分原理分析（即如何控制FileInputFormat的map任务数量）

Hadoop2.7实战v1.0之动态删除DataNode(含NodeManager)节点(修改dfs.replication)

基于Hadoop的云盘系统客户端技术难点之一 上传和下载效率优化

完全分布模式hadoop集群安装配置之一安装第一个节点

OSCS开源安全周报第8期：时隔百天 Apache Hadoop YARN 远程代码执行漏洞公开

好程序员大数据分享Hadoop2.X的环境配置与运行官方案例

基于Hadoop分布式集群搭建政企大数据计算存储服务平台_数道云科技

【centos6.5 hadoop2.7 _64位一键安装脚本】有问题加我Q直接问

Hadoop HBase概念学习系列之HBase里的宽表设计概念（表设计）（二十七）

开发人员学Linux(14)：CentOS7安装配置大数据平台Hadoop2.9.0

Spark standalone模式的安装（spark-1.6.1-bin-hadoop2.6.tgz）（master、slave1和sla...

Hadoop HBase概念学习系列之HBase里的高表设计概念（表设计）（二十八）

《Spark与Hadoop大数据分析》——3.6 Spark 资源管理器：Standalone、YARN和Mesos

大数据项目实践：基于hadoop+spark+mongodb+mysql+c#开发医院临床知识库系统

《深入理解大数据：大数据处理与编程实践》一一2.1 Hadoop系统安装方法简介

《Spark与Hadoop大数据分析》一一第1章 从宏观视角看大数据分析

Cloudera将于4月底登陆纽交所，基于Hadoop的商业公司前景何在？

【干货】Apache Hadoop 2.8 完全分布式集群搭建超详细过程，实现NameNode HA、ResourceManager HA高...

深入理解Spark：核心思想与源码分析. 3.5 Hadoop相关配置及Executor环境变量

《Hadoop海量数据处理：技术详解与项目实战（第2版）》一第2章 环境准备

资源下载

腾讯云软件源

Nacos

Rocky Linux

Sublime Text

欢迎您来访！

基于Hadoop的云盘系统客户端技术难点之一上传和下载效率优化

《Spark与Hadoop大数据分析》一一第1章从宏观视角看大数据分析

《Hadoop海量数据处理：技术详解与项目实战（第2版）》一第2章环境准备